채팅창에 “이 아이디어 만들어야 할까?”라고 물으면 모델은 시장 규모와 경쟁사와 진입 계획을 한 번에 내놓는다. 답은 똑똑하게 들리고, 리서치를 했다는 기분이 든다. 그런데 그 한 번의 호출 안에서 모델은 무엇이 중요한지 정하고, 조사하고, 해석하고, 추천안을 쓰고, 자기 답의 확신도까지 스스로 매겼다. 텍스트 덩어리 하나에 맡기기엔 너무 많은 신뢰다.
문제는 모델의 능력이 아니라 역할 분리의 부재다. 작성자와 채점자가 같은 호출 안에 있으면, 나오는 건 검증된 근거가 아니라 잘 다듬어진 자신감이다.
근거
AI 리서치가 실패하는 이유 상당수는, 답을 쓴 모델이 그 답을 채점까지 하기 때문이거든요. 그건 누군가에게 자기 인사평가를 직접 쓰라고 시켜놓고, 그 사람이 스스로를 ‘비전 있는 인재’라고 적어놨을 때 충격받는 것과 같습니다.
해법은 모델을 바꾸는 게 아니라 구조를 바꾸는 것이다. 그래프에서는 ‘회의론자(skeptic)‘가 독립된 잡으로 존재하며, 앞 단계가 만든 근거를 공격한다. 어떤 주장이 실제로 뒷받침되는가, 어떤 근거가 낡았나, 어디서 ‘고통’과 ‘돈 낼 의사’를 혼동했나. 살아남은 근거만 병합 단계로 넘어간다.
이건 코드 리뷰에서 작성자와 리뷰어를 분리하는 것과 정확히 같은 원리다. 우리는 사람 조직에서는 이 원칙을 당연하게 지키면서, AI에게는 한 번의 호출 안에서 작성과 채점을 동시에 시키고 그 결과를 믿는다. 검사를 워크플로우의 고정 단계로 박아두면 검토 품질이 그날의 기분이나 여유에 좌우되지 않는다는 부수 효과도 따라온다.
연결된 생각
- 20260812-graph-engineering — 이 원칙이 그래프 설계의 핵심 규칙 중 하나다.
- 20260809-eval-gate-for-agent-merge — 같은 원리를 코드 머지 게이트로 구현한 형태.
- 20260610-prompts-are-probabilistic-lints-are-deterministic — 신뢰는 더 나은 프롬프트가 아니라 독립된 검사 장치에서 나온다.
- 20260605-agent-orchestration-requires-guardrails — 결과가 아니라 절차에 가드레일을 걸어야 한다는 관점과 이어진다.