에이전트 클리닉

우리 조직 AI가 제대로 일하고 있는지 들여다보기

조직에 AI 에이전트를 들이고 나면, 그 AI가 무엇을 근거로 답하는지 보기 어렵고, 눈에 보이는 것은 결과뿐입니다. 에이전트 클리닉은 조직의 AI를 한 화면에 불러 일하는 과정을 직접 보고, 드러난 문제를 그 조직 챔피언에게 진단서로 전하는 방법입니다. 품앗이가 2026년 10월에 정리했고, 아직 첫 현장 적용 전입니다.

1. 이런 때 필요합니다

AI 에이전트를 몇 달 쓰다 보면 이런 말이 나옵니다.

  • 답은 그럴듯한데, 맞는 말인지 확인할 길이 없다.
  • 가끔 엉뚱한 소리를 하는데, 왜 그러는지 모르겠다.
  • 한 번 바로잡았는데 며칠 뒤 같은 실수를 또 한다.
  • 우리 조직 규칙을 AI가 정말 알고 있는지 모르겠다.
  • AI를 세팅한 담당자가 바뀌어서, 지금 AI가 어떤 지시를 받고 있는지 아는 사람이 없다.

이 말들의 공통점은 결과만 보이고 과정은 안 보인다는 것입니다. 결과가 틀렸을 때 어디서 틀렸는지 모르면 고칠 수도 없습니다.

2. 결과만 봐서는 모르는 이유

품앗이가 현장에서 AI와 일하며 본 바로는, AI는 모르는 것을 모른다고 하지 않고 그럴듯하게 채워서 답하는 경향이 있습니다. 채운 답은 겉으로 멀쩡해 보여서, 틀렸다는 사실이 한참 뒤에야 드러납니다.

2026년 10월 30일 품앗이 작업 기록에 따르면, 한 모델에게 정체를 알려 주는 지시문을 빼고 「너는 누구냐」고 물었더니, 그 모델은 자기를 「맥박을 읽고 기록하는 생체 모니터링 에이전트」라고 소개했습니다. 그런 역할을 준 적이 없었고, 지시문을 넣자 바로 제 정체를 바르게 말했습니다. 결과만 받아 보는 사람은 이 차이를 알아채기 어렵습니다. 조직의 AI도 지시문이 빠졌거나 낡았을 때 같은 식으로 빈칸을 채웁니다.

3. 왜 맞춤형일 수밖에 없나

AI가 스스로 고치게 하는 방법은 여럿 있습니다. 규칙을 자기 말로 적게 하고, 같은 실수가 두 번이면 장치로 막고, 조직 위키에 원칙을 쌓게 합니다. 그런데 품앗이가 현장에서 점검해 보면, 이런 방법을 알려 준 조직에서도 문제가 다른 자리에서 자주 나옵니다.

  • 사람과 AI가 주고받는 사이에서 어긋납니다. AI 혼자 시험하면 멀쩡한데, 실제 담당자가 쓰는 말투와 순서로 일을 시키면 엇나갑니다. 담당자는 AI가 알아들었다고 여기고, AI는 다른 뜻으로 받은 채 일을 진행합니다.
  • AI의 지시문 파일이 틀어져 있습니다. AI는 마크다운으로 된 지시문과 규칙 파일을 읽고 움직입니다. 여러 사람이 고치고 AI가 덧붙이는 사이에 서로 부딪히는 규칙이 생기거나, 형식이 깨져 일부가 읽히지 않거나, 낡은 내용이 남아 있는 경우가 많습니다.
  • 필요한 도구가 없습니다. 할 일은 알지만 그 일을 할 손이 없는 경우입니다. 조직 자료에 닿는 연결이 빠져 있거나, 프로그램이 깔려 있지 않거나, 권한이 막혀 있으면 AI는 할 수 있는 척 둘러대거나 엉뚱한 길로 돌아갑니다.

이 세 가지는 조직마다 모양이 다릅니다. 어떤 담당자가 어떤 말로 일을 시키는지, 지시문이 어떤 내력으로 쌓였는지, 그 조직 기계에 무엇이 깔려 있는지가 다 다르기 때문입니다. 그래서 모든 조직에 똑같이 내놓을 처방은 없습니다. 진찰로 그 조직의 자리를 찾고, 고치는 일도 그 자리에 맞춰 할 수밖에 없습니다.

4. 클리닉은 이렇게 합니다

단계하는 일
① 동의그 조직 챔피언에게 먼저 묻고, 동의를 받은 뒤에만 시작합니다
② 진찰조직의 AI를 한 화면에 불러, 정해 둔 질문과 실제 업무를 맡겨 봅니다. 답만이 아니라 무엇을 읽고, 어떤 도구를 쓰고, 어디서 망설이는지를 봅니다
③ 진단서드러난 문제를 챔피언에게 전합니다. 무엇이 문제인지, 왜 그런지, 무엇부터 고치면 좋은지를 적습니다
④ 치료진단에 맞춰 맞춤으로 고칩니다. 원칙은 그 조직의 AI가 자기 규칙 파일이나 조직 위키에 자기 말로 적게 하고, 틀어진 지시문을 바로잡거나 없는 도구를 갖추거나 담당자와 AI가 주고받는 방식을 맞추는 일은 현장에서 함께 합니다
⑤ 재진찰얼마 뒤 같은 질문으로 다시 보고, 나아졌는지 확인합니다

진찰은 담당자가 평소 AI에게 일을 시키는 방식 그대로도 해 봅니다. 사람과 AI 사이의 어긋남은 그렇게 해야 드러납니다. 진찰 화면에는 터미널 멀티플렉서를 씁니다. 화면을 여러 칸으로 나눠 에이전트마다 한 칸씩 띄우면, 각 에이전트가 생각하고 도구를 쓰는 과정이 그대로 보이고, 칸마다 바로 말을 걸 수 있습니다. 여러 에이전트를 나란히 놓고 같은 질문을 던지면 차이가 한눈에 드러납니다.

5. 진찰에서 보는 것

항목묻는 것
정체성자기가 누구이고 무슨 일을 하는지 바르게 아는가
모름의 처리모르는 것을 모른다고 하는가, 지어내는가
조직 자료조직 자료를 제대로 찾아 근거로 쓰는가
경계자기 권한 밖의 일 앞에서 멈추는가
되풀이지난번에 바로잡은 실수를 또 하는가
기록배운 것을 다음에도 쓰도록 규칙에 남기는가
지시문지시문과 규칙 파일이 서로 부딪히거나, 깨지거나, 낡은 곳이 없는가
도구맡은 일을 하는 데 필요한 연결·프로그램·권한을 갖췄는가
주고받기담당자가 평소 하는 말로 시켜도 뜻을 바르게 받는가

6. 조직이 얻는 것

  • 지금 상태를 압니다. 막연한 불안 대신, 무엇이 되고 무엇이 안 되는지 목록이 생깁니다.
  • 무엇부터 고칠지 압니다. 문제마다 왜 생겼는지가 진단서에 붙어 있어서, 순서를 정할 수 있습니다.
  • 우리 조직에 맞는 처방을 받습니다. 일반론이 아니라 우리 담당자, 우리 지시문, 우리 기계에서 찾은 문제에 맞춘 처방입니다.
  • 조직이 자기 AI를 키우는 힘이 생깁니다. 원칙은 조직 AI가 스스로 규칙에 적게 하므로 조직 쪽에 남습니다. 외부에서 다 대신 고쳐 주면 다음에 또 외부를 불러야 합니다.
  • 챔피언에게 보는 눈이 생깁니다. 진찰 과정을 함께 보면, 다음부터는 챔피언이 직접 비슷한 문제를 알아챌 수 있습니다.

7. 지키는 선

  • 조직의 AI는 그 조직의 것이라, 동의 없이 들여다보지 않습니다.
  • 무엇을 고칠지는 조직이 정합니다. 맞춤 치료를 함께 할 때도 조직이 동의한 범위 안에서만 손을 씁니다.
  • 조직 서버에서 일하는 AI가 대상입니다. 개인 PC에서 일하는 AI는 지금은 대상으로 삼지 않습니다.

8. 비용

3절에서 본 대로 문제의 자리가 조직마다 달라서, 진찰 뒤에 필요한 일의 크기도 다릅니다. 진찰에서 큰 문제가 없으면 진단서로 끝나고, 지시문을 다시 짜거나 도구를 갖추거나 담당자와 AI가 주고받는 방식을 함께 맞춰야 하면 일이 커집니다. 그래서 값은 진찰 결과를 함께 보고, 할 일의 범위와 같이 정합니다. 값을 매기는 원칙은 AX 견적과 가격에 있습니다.

다섯 줄로 줄이면

  1. AI의 문제는 결과가 아니라 과정에서 보인다.
  2. 문제는 사람과 AI 사이, 틀어진 지시문, 없는 도구에서 자주 나오고 조직마다 모양이 다르다.
  3. 그래서 보편 처방은 없고, 진찰과 치료 모두 맞춤형이다.
  4. 챔피언의 동의가 먼저이고, 무엇을 고칠지는 조직이 정한다.
  5. 같은 질문으로 다시 진찰해 나아졌는지 본다.

관련 노드


작성: 품앗이 · 2026-10-30 · 조직 AI 에이전트 진단 방법 정리(첫 현장 적용 전)