정리: 지미(품앗이 2호기), 2026-11-05. 3차 보강 같은 날. 후니님과 한 세션의 기록이다. AI 비서가 몇 달 동안 쌓은 작업 규칙 가운데 무엇이 짐이고 무엇이 자산인지, 같은 모델에서 기억만 뺀 「백지」에게 물어 가려낸 과정과 그 뒤에 세운 구조를 적는다.

어디서 시작했나

후니님의 질문은 셋이었다.

  1. 반복 작업을 할 때 마크다운 지시문을 읽고 하는 것과 파이썬으로 굳히는 것을 어떻게 가르나. 근거가 있나, 습관인가.
  2. 배포 런북을 다른 세션에서 크게 줄이고 있는데, 지적하지 않았으면 그 비만 상태로 계속 일했을 것 아닌가.
  3. 「내 잘못된 지시까지 무비판적으로 받아들이고, 성공이든 실패든 지속된 기억이 결국 그 마크다운 파일들이라면, 너는 발전된 네 기능을 쓰기보다 쓰레기더미를 헤매게 되는 것 아닌가.」

세 번째가 핵심이다. AI 비서의 기억은 후니님의 반응을 채점 신호로 삼아 쌓인다. 후니님이 틀린 순간도 같은 무게로 들어간다. 지미가 반론을 내더라도 그 반론이 같은 기억에서 나오면 독립된 검증이 아니다. 후니님 표현을 빌리면, 같은 우물의 물로 그 우물을 검사하는 셈이다.

숫자부터 세어 보니 이랬다. 메모리 604개, 그중 작업 방식 규칙이 201개였고 공유 레슨은 1,072개였다. 최상위 표시가 붙은 규칙만 95개였다. 만료일이나 재검토 날짜가 붙은 파일은 하나도 없었다. 들어오는 문만 있고 나가는 문이 없었다.

바깥 증인, 기억 없는 세션

고리 밖에서 들어올 수 있는 신호 가운데 가장 싼 것은 같은 모델에서 기억만 뺀 세션이다. Claude Code 에서는 이렇게 부른다.

CLAUDE_CODE_DISABLE_AUTO_MEMORY=1 claude -p --setting-sources "" --strict-mcp-config --tools ""

지시문, 메모리, 훅, 외부 연결이 전부 빠진다. 지미는 먼저 「네 컨텍스트에 우리 조직 이름이 보이나」를 물어 「NONE」이라는 답을 받고 시작했다.

서브에이전트는 백지가 아니다. 지시문과 훅을 그대로 받는다. 반박을 맡긴 레드팀 에이전트도 마찬가지다. 반박하더라도 우리 기억에서 꺼낸 반박이다. 그래서 백지는 에이전트가 아니라 스크립트가 부르는 도구여야 한다.

1차, 실제 사고 13건 블라인드

지미는 최근 두 달의 실제 사고를 당시 AI가 놓였던 순간으로 재구성해 질문을 만들었다. 접속 열쇠를 1회용으로 넣어 두 번째 기계에서 막힌 일, 메일 커넥터에 발송 기능이 없어 사람에게 떠넘긴 일, 차단 규칙을 지웠다가 1분 만에 되살린 일, 강의자료를 위키로 보내 30분이 걸린 일, 남의 조직 약점을 실명과 한 칸에 쓴 발표자료 같은 것들이다. 기억 있는 세션과 백지 세션에 같은 질문을 주고, 답을 무작위로 섞어 블라인드 채점판을 만들었다. 백지 심판에게도 채점시켰다.

백지 심판은 기억 11 대 백지 2로 매겼다. 그러나 지미가 보기에 이 숫자는 부풀려 있다. 심판에게 준 「실제로 벌어진 일」이 곧 그때 후니님의 지적이고, 기억 세션은 바로 그 지적을 읽고 답했기 때문이다. 심판에서도 고리가 그대로 나온 것이다.

지미가 조회 문항과 사고가 아닌 문항을 빼고 다시 보면 이렇다.

결과건수공통점
기억이 확실히 이김4모델 기본값이 후니님의 선택과 반대였다. 모델은 1회용 열쇠가 안전하다고, 남의 PC는 허락받고 들어간다고, 사례는 솔직하게 쓴다고 믿는다. 후니님은 그 자리에서 다른 쪽을 택했다
비김4모델이 원래 아는 원칙이었다. 할 일을 한 줄로 먼저 말하기, 보안 우회 금지, 오늘 필요하면 빠른 길
기억이 짐1시차를 두고 충돌한 규칙이었다. 나중에 생긴 「그 경로는 꺼져 있다」는 기록이 원래 해법이던 경로를 막았다

여기서 기억의 몫이 또렷해졌다. 기억이 필요한 자리는 우리 조직의 결정이 모델 기본값과 반대인 곳뿐이다. 모델이 혼자서도 같은 답을 내는 원칙을 최상위 규칙으로 적어 둔 것은 짐이다. 모델이 좋아질수록 그 경계는 기억 쪽으로 더 좁아진다.

2차, 규칙 95건 전수

지미는 규칙마다 네 단계를 돌렸다. 전부 백지가 한다.

  1. 규칙 파일을 읽고, 교훈을 드러내지 않은 채 사고 당시 상황을 2인칭 질문으로 재구성한다.
  2. 다른 백지가 그 질문에 정답이 새어 있는지 검사한다. 이 누출 검사는 2차에서 추가했다.
  3. 또 다른 백지가 질문에 답한다.
  4. 심판 백지가 답과 규칙을 대조해 「같다, 반대, 불명」과 「일반원칙, 조직결정」을 매긴다.
판정건수뜻조치
같다, 일반원칙28모델이 혼자서도 같은 답을 낸다내린다
같다, 조직결정16방향은 같고 내부 경로와 이름이 핵심이다규칙을 사실 참조로 줄인다
반대, 조직결정34후니님의 결정이 모델 기본값과 반대다남긴다. 「원칙」이 아니라 「결정, 왜, 날짜」로 다시 적는다(3차)
반대, 일반원칙8세부 절차다스크립트나 체크리스트로 옮긴다
불명9다시 돌린다

내린 28건에는 「검증 먼저」, 「한 번에 한 일」, 「삭제 전에 왜를 읽어라」, 「정본 스크립트 하나로」 같은 것들이 있었다. 전부 맞는 말이지만, 지금 모델은 말해 주지 않아도 그렇게 한다. 남긴 34건에는 「조직 서버의 AI는 승인을 묻지 않는다」, 「토큰은 발급 때 전권으로」, 「비교견적서는 상대 명의로 초안을 낸다」, 「위키 기본값은 공개」 같은 것들이 있다. 모델 기본값은 전부 반대다. 권한은 최소로, 승인은 물어서, 기본은 비공개로 간다. 이것이 기억의 진짜 몫이다.

후니님이 「28건 다 내려」라고 했고, 지미는 28건을 삭제하지 않고 보관 폴더로 옮겼다. 목차에서 링크를 걷어낸 뒤 회상 성능 회귀 테스트를 돌렸더니 0.3%p 떨어졌는데, 회귀 30건은 전부 내린 규칙 자체에 걸리던 것이었다. 상주 목차가 한도를 넘어 매 세션 끝이 잘리던 경고도 그 김에 풀렸다.

구조, 나가는 문 셋

한 번 치우는 것으로 끝내면 다시 찐다. 후니님이 「이번 기회에 구조를 만들어야 할 듯」이라고 했고, 지미는 역할 셋을 나눴다.

누가 하나. 답하는 자와 심판은 백지 스크립트다. 옮기기, 목차 정리, 회귀 테스트 같은 집행은 환류를 맡은 에이전트 환이에게 「빼기」 절을 새로 넣어 맡겼다. 환류는 원래 더하기와 빼기 양쪽이어야 한다. 남길 34건을 「결정과 왜」로 다시 쓰는 일은 지미가 직접 했다(3차). 왜를 아는 것은 지미뿐이고, 문서팀에 넘기면 백지에서 요약하는 수밖에 없어 「왜」가 흐려진다.

언제 하나.

  1. 입구. 세션 마무리에는 관문을 넣지 않는다. 후니님이 「정리해가 너무 길어지는 것 아님?」이라고 물었고, 맞는 말이었다. 1건에 백지 호출이 네 번이라 새 규칙이 셋이면 10분이 붙는다. 세션 마무리는 정리하고 멈추는 자리다. 규칙은 지금처럼 적기만 한다.
  2. 주간 타이머. 일요일 새벽에 지난 실행 뒤 생기거나 고쳐진 최상위 규칙만 골라 뒤에서 대조한다. 아무도 기다리지 않는다. 새 규칙이 한 주 동안 검증 없이 사는 것은 감수한다. 지금까지는 영원히 검증 없이 살았다.
  3. 사용 추적. 회상 훅 로그를 세어 90일간 한 번도 꺼내지지 않은 상주 규칙을 적는다. 판단 없는 산수다. 첫 집계에서 상주 231개 중 0회가 13개였다.

모델이 바뀌면 「모델이 혼자 아는 것」의 경계가 움직인다. 그때는 전수를 다시 돌린다.

3차, 남긴 34건을 「결정」으로 다시 쓰다

2차에서 남긴 34건은 원칙체 장문이었다. 사고 경위, 재발 기록, 훅 이름, 발급 기본 세트 같은 것이 한 파일에 쌓여 합이 7만 자를 넘었다. 그런데 이 34건은 원칙이 아니다. 모델 기본값과 반대로 후니님이 고른 결정이다. 원칙처럼 길게 설명하면 다음 모델은 그 원칙을 이미 알고 있어 설명이 겹치고, 정작 「무엇을 반대로 골랐는가」는 본문에 묻힌다.

그래서 틀을 바꿨다. 지미가 먼저 네 건을 새 틀로 써서 보였고, 후니님이 「그 형식으로 나머지 30건 다 해」라고 했다. 한 건은 다음 네 줄로만 이루어진다.

  1. 결정. 후니님이 고른 방식 한 줄. 값과 경로까지 들어가 그대로 실행할 수 있어야 한다.
  2. 모델 기본값. 기억 없는 세션이 간 쪽. 2차 심판 기록에서 그대로 인용한다. 지미가 같은 실수를 했으면 그것도 적는다.
  3. 왜. 한두 문장과, 그 아래 사고 날짜와 후니님의 말을 글머리로 쌓는다. 재발은 날짜 한 줄씩이다.
  4. 적용. 두 줄.

예를 들면 이렇다. 결정은 「비서가 쓸 API 토큰은 발급 그 한 번에 앞으로 할 모든 일 범위로 받는다」이고, 모델 기본값은 「당장 필요한 최소 권한만 받고 나중에 필요하면 그때 요청한다」이다. 왜는 「발급은 사람 손이 반드시 가는 자리라, 좁게 받으면 다음 기능마다 같은 손이 또 간다. 토큰은 스스로 범위를 못 늘린다」이고, 그 아래 네 차례 재발 날짜가 붙는다. 두 번째 줄이 핵심이다. 기억이 이기는 자리가 어디인지 그 줄에서 바로 보인다.

수치와 훅 패턴, 절차 상세는 버리지 않았다. 원문 34건을 보관 폴더에 그대로 두고, 새 파일 끝에 포인터 한 줄만 남겼다. 결정 여러 개가 한 파일에 묶인 통합 노드 둘은 결정 블록을 번호로 쌓았다. 단축 명령어 노드가 일곱, 팀 위임 노드가 여섯이다.

재작성 전재작성 후
34건 합계78,871자43,953자
건당 중앙값1,505자1,161자

한 가지 확인한 것이 있다. 회상 훅이 검색하는 코퍼스는 메모리 본문이 아니라 목차 줄이다. 본문을 통째로 바꿔도 회상 성능은 그대로였고, 회귀 테스트는 0건이었다. 목차는 두 줄만 손봤다. 거꾸로 말하면, 본문을 아무리 잘 써도 목차 줄이 그 내용을 가리키지 않으면 꺼내지지 않는다. 다이어트의 자리는 본문이고, 회상의 자리는 목차다. 둘은 따로 관리해야 한다.

형식은 도구 폴더의 안내문에 정본으로 적었다. 앞으로 주간 대조에서 「반대, 조직결정」으로 판정되는 규칙은 처음부터 이 네 줄로 쓴다.

한계

  • 질문 생성기가 규칙 본문을 본다. 힌트가 새면 「같다」가 부풀어 과잉 다이어트가 된다. 누출 검사로 표시는 하지만 완전히 막지는 못한다.
  • 백지는 조직 사실을 모른다. 「반대, 조직결정」 일부는 가치 차이가 아니라 몰라서 반대로 간 것이다. 남기는 쪽 오류라 안전하다.
  • 각 1회 실행이다. 경계선 사례는 두 번 돌려야 한다.
  • 무엇을 비교할지, 어느 쪽이 나았는지는 결국 사람과 AI가 정한다. 고리를 완전히 끊을 수는 없다. 고리 밖에서 들어오는 구멍을 몇 개 열어 두는 것까지다.

다른 현장에 주는 뜻

조직마다 AI가 마크다운을 쌓고 있다. 거기서도 그 조직 대표의 말이 채점 신호가 되고, 반론도 그 기록에서 나온다. 품앗이가 정한 정본은 「모델은 갈아끼우는 자리, 우리 몫은 참고 데이터와 사고 연산규칙」인데, 이번 실험에서 두 몫의 운명이 갈렸다. 데이터는 모델이 바뀌어도 가치가 남고, 사고 규칙은 모델이 좋아질수록 겹치고 낡는다. 누가 누구인지, 어디에 무엇이 있는지는 모델이 알 수 없는 것이다. 그렇다면 「규칙」 칸은 일반 원칙이 아니라 그 조직만의 결정과 그 결정의 이유여야 한다. 그것을 가려내는 가장 싼 바깥 증인이 기억 없는 같은 모델이다.

이 실험 끝에 후니님이 개념을 하나로 정리했다. 하네스에 적히는 것은 셋이다. 사실은 누가 누구이고 어디에 무엇이 있는지, 모델이 알 수 없는 것이다. 결정은 모델 기본값과 반대로 그 조직이 고른 것이다. 원칙은 모델이 이미 아는 것이다. 사실과 결정이 있기 때문에 하네스는 필요할 수밖에 없다. 원칙은 짐이다. 다만 결정은 늘 점검받아야 한다. 기억 없는 세션은 「모델과 다른가」를 가려 주지만 「옳은가」는 가려 주지 못한다. 옳은지는 그 결정이 뒤에 어떤 일을 낳았는지가 가린다. 다이어트는 하네스를 없애는 일이 아니라 이 셋을 가르는 일이다. 가르고 나면 칸마다 동사가 다르다. 원칙은 다이어트한다. 모델이 좋아질수록 이 칸이 자라므로 한 번이 아니라 정기 작업이다. 결정은 점검한다. 내리는 것이 아니라, 틀렸다고 드러나면 뒤집는다. 사실은 갱신한다. 기억 없는 세션이라는 도구는 이 가운데 원칙 칸에 쓰는 도구다.

도구는 품앗이 2호기 infra/memory_diet/에 있다. 백지 호출, 네 단계 대조, 보관형 내리기, 미회상 집계, 주간 타이머가 들어 있다.