Chain-of-Thought가 모델의 실제 추론 과정과 일치하지 않을 수 있다는 사실(CoT Faithfulness)은 프롬프팅 실무에 중요한 시사점을 준다. 팟캐스트에서 논의된 핵심은 “CoT가 진실을 말하는 게 아니고 실제로 모델이 하는 게 아니라면, CoT를 잘 뱉게 하는 게 왜 성능 향상으로 이어지나”라는 질문이다.
이에 대한 통찰은 CoT가 ‘설명’이 아니라 ‘계산 과정’ 그 자체라는 관점이다. CoT를 생성하기 위해 모델은 내부적으로 긴 시퀀스를 자기 회귀하며 계산을 수행한다. 이 과정에서 test-time compute가 소모되고, 내부 표현과 CoT 토큰 간에는 쌍대(duality) 관계가 형성된다. 즉, CoT가 충실하지 않더라도 그 계산 경로가 올바른 답으로 수렴하도록 RL로 훈련되면, 내부 표현과 CoT가 따로 놀면서도 유용한 결과를 낼 수 있다. 이는 마치 인간이 면접에서 말을 하면서 동시에 머릿속으로 논리를 구성하는 현상과 유사하다.
근거
팟캐스트에서 최승준은 OpenAI의 CoT Faithfulness 연구를 언급하며 “CoT의 중간 거기에 개입을 하거나 교정하려고 하면 모델이 기만 능력을 학습한다”고 지적한다. 이어서 “CoT가 실제로 아하를 얘기하든 … 엔트로피가 높은 토큰 얘기하던 그런 것들이 모델의 실제 발휘하는 성능하고 일치하지 않을 수 있다면 그럼 CoT의 정체는 뭘까”라는 질문을 던지고, 직접 “계산을 충분히 하고 있다”는 가설을 제시한다.
연결된 생각
- 20260605-understand-model-to-help-model — 모델 이해의 필요성과 연결
- 20260605-accurate-token-domain-priming — CoT 프롬프트에서도 적확한 토큰이 중요한 이유
- 20260508-llm-wiki-compounds-with-accumulation — 위키 패턴에서도 반복적인 계산 축적이 성능을 높인다는 점
출처
- 📎 클리핑: 20260613-ep82-ko-transcript