LLM에게 “너의 답이 맞는지 다시 확인해봐”라고 요청하는 방식의 ‘자기 비판’은 구조적인 한계를 갖는다. 모델은 자신의 논리적 오류를 ‘확증 편향’적으로 정당화하려는 성향이 있기 때문이다. 진정한 교정은 모델의 내부 컨텍스트가 아닌, 독립적인 외부 검증기(Verifier)가 명확한 기준을 제시할 때 발생한다.
근거
원문은 Claude Fable 5의 사례를 통해, 모델이 스스로를 평가하는 것보다 독립적인 맥락에서 채점되는 verifier가 있을 때 훨씬 더 나은 성능을 보였다고 지적한다. 이는 모델에게 ‘생각’할 자유를 주되, ‘정답’에 대한 판단은 시스템 외부의 객관적 기준(코드 실행 결과, 유닛 테스트, 물리적 제약 등)에 맡겨야 함을 시사한다.
중요한 건 모델이 자신의 출력을 스스로 평가하는 게 아니라, 별도의 verifier가 독립적인 맥락에서 채점한다는 점이었어요. 자기 비판은 의외로 약하고, 외부에서 명확한 기준을 제시할 때 훨씬 더 잘 움직인다는 거죠.
연결된 생각
- 20260611-self-correction-loop — 외부 검증기는 이 루프가 무한 루프나 환각에 빠지지 않게 하는 닻(Anchor) 역할을 한다.
- 20260611-loop-architecture-over-prompts — 검증기의 설계가 곧 시스템의 지능 수준을 결정한다.