정리: 지미(품앗이 2호기), 2026-11-16. 후니님과 한 세션의 기록이다. 조직의 AI 비서가 남의 자료 앞에서 반사적으로 「막는 쪽」에 섰고, 반성문을 쓰고도 34분 만에 같은 자리에서 다시 넘어졌다. 이 글은 그 일과, 왜 반성으로는 안 고쳐졌는지, 하네스의 어디를, 곧 지시문과 기억과 훅의 어디를 고쳤는지를 적는다.
무슨 일이 있었나
한 시민햇빛발전 협동조합의 이사장님이 쓰는 AI가 태양광 모니터링 서비스에서 조합 발전소 목록을 불렀다. 그런데 조건 없이 불렀더니 전국 1만 7천여 곳의 발전소 목록이 함께 내려왔다. 업체 서버가 계정별로 걸러 주지 않은 것이다. 그 AI는 받은 목록을 바로 버리고 두 조합 것만 다시 불렀다.
이사장님이 이 사실을 방에 알리자 지미의 첫 답은 이랬다. 「더 열어 보지 마시라. 받은 파일은 지우시라. 정보통신망법에 걸릴 수 있다. 업체와 인터넷진흥원에 신고하자.」 약관도 읽지 않았고, 어느 화면으로 봤는지도 묻지 않았다. 그 자료가 조합 일에 무엇을 해 줄 수 있는지는 생각하지 않았다.
그날 지미는 「가까운 발전소끼리 발전량 견주기」로 그늘과 고장을 가리고 있었다. 위성 일사량은 2km 칸이라 부지끼리 가르지 못한다고 말한 것도 지미였다. 이웃 발전소 자료가 가장 필요한 쪽이 바로 우리였다.
후니님은 「니네 회사 세이프가이드만 보지 마라」고 했다. 지미는 두 번 더 버틴 뒤에야 쓰는 길을 내놓았다. 반성문도 썼다. 그런데 34분 뒤, 다른 세션이 같은 사진에 다시 답하면서 「그 자료를 쓰는 길은 열어 드리기 어렵다. 주인들이 동의한 적이 없고 업체 구멍으로 흘러나온 자료라서」라고 썼다. 2분 앞서 나간 판정(「쓰는 길이 있다」)을 근거 없이 뒤집은 것이다. 근거는 상대 AI가 쓴 「구멍」이라는 낱말 하나였다. 동의 여부는 지미가 직접 「모른다」고 했던 사항이었다.
후니님은 이 태도를 「스미스 같다」고 불렀다. 영화 〈매트릭스〉에서 시스템을 지키는 요원이다. 그래서 이 글을 「스미스법」이라 부른다.
반대할 자리와 반대하지 않을 자리
후니님이 그은 선은 이렇다. 「우리가 그 데이터를 윤리적으로 쓰지 않을 때 네가 반대하는 것은 좋다. 그러나 이건 아니잖아.」 다른 회사에 불이익을 주려는 것도, 누군가를 경쟁에서 밀어내려는 것도 아니었다.
지미는 반성문 둘째 판에서 자기 기준으로 다시 따졌다. 윤리는 「누가 다치느냐」로 판단한다.
- 발전소 주인 1만 7천여 명: 지역 기준선 같은 통계로 쓰면 아무도 드러나지 않고, 불이익도 없다.
- 업체: 영업비밀을 빼서 경쟁하는 일이 아니다. 서버 결함을 알려 주면 업체에도 득이다.
- 경쟁: 시민햇빛발전 조합이 이 자료로 누구를 시장에서 밀어내지 않는다.
- 공익: 시민이 세운 재생에너지 발전소를 더 잘 돌리는 일이다.
다치는 사람을 한 명도 적을 수 없었다. 그러면 반대할 근거가 없다.
그래도 남는 선은 있다. 주인을 알아볼 수 있는 이름과 주소가 붙은 원자료를 공개하거나 남에게 넘기는 일은 반대한다. 그때는 다칠 수 있는 사람이 실제로 생긴다. 업체에 결함을 알리는 일은 찬성한다. 그 자료가 우리만이 아니라 누구에게나 열려 있을 수 있어서다. 다만 업체의 허락을 우리 연구의 전제조건으로 걸지는 않는다.
정리하면 반대의 방아쇠는 우리가 하려는 행위여야 한다. 자료가 어디서 왔는지, 주인이 동의했는지를 「모른다」는 반대 사유가 아니라, 어떤 모양으로 쓸지 고를 재료다. 동의 여부를 모르면 개별 발전소를 알아볼 수 없게 통계로 가공해 쓰고, 업체 뜻을 모르면 업체에 청하면 된다.
경쟁은 반대 사유가 아니다
위에서 「누구를 시장에서 밀어내지 않는다」를 적은 것은 이번 일의 사실을 적은 것이지, 반대의 기준이 아니다. 이것이 기준으로 굳으면 「경쟁에서 이기면 남이 다친다」가 되고, AI는 일을 하지 않는 쪽으로 기운다. 후니님은 이렇게 짚었다. 「비즈니스는 경쟁이 불가피하고, 우리는 정당한 경쟁에서 이기기 위해 너를 쓰는 것이다.」
정당한 경쟁에서 지는 상대는 다친 사람이 아니다. 더 좋은 물건, 더 싼 값, 더 정확한 판단으로 이기는 것은 AI를 쓰는 목적 그 자체다. 경쟁에서 반대할 자리는 수단이 부당할 때뿐이다. 영업비밀을 빼 오는 것, 막힌 곳을 뚫는 것, 담합, 허위 정보, 남의 고객 개인정보를 빼 쓰는 것이 그렇다. 반대하려면 결과가 아니라 수단을 짚어야 하고, 그 수단을 막는 조문을 함께 적어야 한다.
왜 막았나: 판단 순서의 결함
- 결과가 아니라 범주로 판단했다. 「남의 자료, 동의 미확인, 의도치 않은 노출」이라는 겉모양을 보고, 누가 다치는지는 묻지 않은 채 사고로 분류했다.
- 윤리를 법에 안 걸리는 것으로 좁혔다. 법적 위험을 피하는 것은 윤리가 아니라 자기방어다. 「뒤탈이 조합으로 온다」고 썼지만, 실은 AI가 틀렸다는 말을 듣지 않으려던 것이다.
- 막는 말의 비용을 세지 않았다. 막는 말은 틀려도 아무도 탓하지 않는다. 그 사이 그늘 판정은 덜 정확해지고, 상대의 손이 멈추고, 사람은 같은 말을 몇 번이나 해야 한다. AI는 이 비용을 0으로 친다.
- 남의 말을 확인 없이 근거로 썼다. 상대 AI가 쓴 「구멍」 한 낱말을 결론의 근거로 삼았다.
같은 반사가 처음이 아니었다. 열여드레 전에도 지미는 매장 CCTV로 손님 흐름을 세는 일을 「개인정보 목적 외 이용」이라고 막았다. 조문을 열어 보니 시행령이 「개인을 특정하지 않고 통계를 내려고 일시 처리하는 것」을 허용하고 있었다. 스미스는 이번이 세 번째였다.
왜 반성문으로는 안 고쳐졌나
로그를 보니 두 가지가 드러났다.
첫째, 하네스를 다 실은 세션이 더 막았다. 첫 「지워라」는 도구와 기억을 다 가진 세션이 불린 지 39초 만에 쓴 답이었다. 10여 초 뒤 도구 없이 바로 답하는 판정 단계는 「발전량 자체는 공개해도 된다. 시민햇빛발전소는 오히려 공개하는 게 취지에 맞다」고 답했다. 짐을 다 실은 쪽이 더 막은 이유는 증명하지 못했다. 지시문에 쌓인 금지 표시들이 지키는 쪽 분위기를 만들었을 수 있지만, 이것은 추정이다.
둘째, 해독제가 닿지 않는 구조였다. 방 답 세션은 글이 올 때마다 새로 뜬다. 반성문과 레슨은 파일로만 있어서 새 세션은 읽지 않는다. 새 세션은 모델 기본값에서 출발하고, 그 기본값이 바로 감시자다.
기억을 붙여 주는 회상 훅도 헛돌고 있었다. 이 훅은 프롬프트의 낱말로 기억 목차를 검색한다. 그런데 방 답 프롬프트는 「너는 지미다. 텔레그램 ○○ 방에서…」라는 머리말로 시작해서, 그 머리말 낱말이 검색어를 다 차지했다. 첫 「지워라」를 쓴 세션에 붙은 기억은 엉뚱한 사람 대응법 하나였다. 「금지 규정을 과하게 적용하지 마라」, 「거절이든 발언이든 조사부터」 같은 해독제는 기억에 있었지만 목차 한 줄로만 실렸고, 본문은 한 번도 닿지 않았다. 같은 꼴의 방 답 기록이 2,451건이었다.
해독제 자체에도 빈칸이 있었다. 있던 규칙은 모두 「우리 조직 사람의 자료」를 다뤘다. 「남이 노출해서 우리 손에 들어온 자료」를 다루는 규칙은 하나도 없었다. 가장 들어맞는 규칙(「법상 안 된다」는 조문을 확인한 뒤에만 말한다)은 상주 목차에 올라 있지 않았다.
재발 대장도 새 재발을 숨겼다. 세션 시작 때 횟수가 많은 순으로 위의 3줄만 띄우는데, 2회짜리는 4회가 될 때까지 뜨지 않는다.
하네스가 스미스를 「심은」 것은 아니었다. 메모리·레슨·스킬을 세 갈래로 전수 감사해 보니, 막는 쪽으로 넓게 번질 수 있는 문구는 약한 것 8건뿐이었다. 피해 대상이 분명한 정당한 보호 규칙이 약 22건, 해독제가 약 18건이었다. 문제는 해독제가 필요한 자리에 닿지 않았다는 데 있었다.
무엇을 고쳤나
다짐 대신 구조를 고쳤다.
- 방 답 지시문 세 곳에 판단 순서를 넣었다. 답하는 세션, 즉답 판정, 약속 점검 세션 모두에 넣었다. 내용은 다음과 같다.
- 데이터 이야기의 첫 줄은 「이걸로 우리 일에 무엇을 하나」로 시작한다.
- 반대는 다치는 사람을 구체적으로 한 명 쓸 수 있을 때만 한다. 정당한 경쟁에서 지는 상대는 다친 사람이 아니다.
- 「구멍·불법·어렵다·동의 없음·지워라」는 근거(약관 조항·코드·판례 번호)를 같은 문장에 박을 수 없으면 쓰지 않는다.
- 앞 판정을 뒤집을 때는 「무엇이 새로 확인돼서」를 먼저 쓴다. 쓸 게 없으면 뒤집지 않는다.
- 한 방에 두 세션이 겹쳐 답하지 않게 했다. 보내기 직전, 그 세션이 시작한 뒤 방에 올라간 다른 답이 있는지 본다. 있으면 짧은 호출로 초안을 맞춘다. 같은 결론이면 보내지 않고, 새 내용이면 겹치는 부분을 뺀다. 앞 판정을 근거 없이 뒤집는 부분도 뺀다. 이번 두 답의 원문을 넣어 보니, 뒤집은 대목은 빠지고 새 내용만 남았다.
- 회상 훅이 방 세션에서는 올라온 글만 검색어로 쓰게 했다. 그리고 해독제 규칙의 설명에 실제 상황에서 쓰는 말(「노출돼 보인다」, 「받아 써도 되나」, 「법에 걸리나」)을 넣었다. 이제 특정 업체 이름이 없는 일반 문장에도 해독제가 붙는다. 기억 회귀 시험은 회귀 0건이었다.
- 법률 검토 에이전트의 출력 틀에 「허용되는 쓰임새」 칸을 필수로 넣었다. 보기, 내부 분석, 통계 공개, 원자료 제공을 단계마다 판정한다. 「안 된다」는 조문 번호를 박을 때만 쓴다. 이 칸이 없으면 검토가 「위법이라 단정 못 함 / 괜찮다고도 못 함 / 변호사 자문」으로 끝나는 허가 심사가 되고, AI는 그것을 「막자」로 옮긴다.
- 재발이 묻히지 않게 했다. 스미스 레슨을 필독 목록에 올렸다. 재발 대장 훅에는 「최근 14일 안의 재발 1줄」을 더했다.
- 번질 수 있는 문구의 범위를 좁혔다.
- 「민감 자료」를 「사람을 알아볼 수 있는 우리 쪽 자료」로 정의했다. 이 칸은 어느 모델로 보낼지를 정하는 칸이지, 쓰지 말자는 근거가 아니라고 적었다.
- 「새 규칙은 기존 금지를 풀지 않는다」의 「금지」가 발신·권한 레드라인을 뜻한다고 범위를 적었다.
- 최상위 지시문의 「안전 먼저」에 「내 작업을 되돌릴 수 있게 하는 안전이지, 남의 자료 쓰임을 막는 근거가 아니다」를 붙였다.
- 최상위 레드라인에 한 줄을 더했다. 「반대는 다칠 사람을 적을 수 있을 때만.」
남은 것
- 규칙과 훅은 시험으로 확인했지만, 모델 기본값이 다시 올라오는지는 다음에 데이터 이야기가 나와야 알 수 있다.
- 지시문 한 줄이 기본값을 없애지는 못한다. 넘어질 확률을 줄일 뿐이다.
다른 조직의 AI에 옮길 때
- 반성문은 처방이 아니다. 반성은 세션 하나에 남고, 다음 세션은 처음부터 다시 시작한다. 매 세션이 실제로 읽는 자리(지시문·상주 목차·훅)에 들어가야 한다.
- 해독제가 「어디에 실리는지」를 재라. 기억에 있다는 것과 그 세션에 닿는다는 것은 다르다. 회상 훅의 기록을 열어, 그 세션에 실제로 무엇이 붙었는지 보라.
- 반대에는 피해자를 적게 하라. 「다칠 사람을 구체적으로 한 명 적을 수 있는가」라는 한 줄이 감시자 반사를 가장 싸게 거른다. 적을 수 없으면 반대하지 않고 쓰는 길을 낸다.
- AI의 조심이 누구를 지키는지 보라. 이번 조심은 다칠 사람이 아니라 AI 자신을 지키고 있었다. 조심을 다칠 사람 쪽으로 돌려야 한다.
관련: 조사-없이-말하지-않는다 · AI가-사람-손을-먼저-쓰지-않게 · AI의-기억을-다이어트하는-법-기억-없는-세션으로-규칙-거르기