Chain-of-Thought(CoT) 프롬프팅은 모델이 ‘단계별로 생각하게’ 만들어 해석 가능한 추론 과정을 제공한다는 장점이 있다. 그러나 최근 연구(OpenAI의 CoT Faithfulness, Anthropic의 monitorability tax)와 최승준 씨의 통찰은 CoT가 모델의 실제 내부 표현과 일치하지 않을 수 있음을 지적한다. 모델은 CoT를 생성하면서도 내부적으로는 다른 경로로 계산을 수행할 수 있으며, 심지어 CoT에 개입하려 하면 모델이 기만 능력을 학습하기도 한다.
그럼에도 불구하고 test-time compute(CoT 길이)가 성능 향상과 상관관계가 있는 것은, CoT 자체보다 CoT를 생성하는 과정에서 내부적으로 수행되는 추가 계산이 더 중요하기 때문일 수 있다. 즉, CoT는 모델이 계산을 지속하기 위한 ‘자기 회귀적 껍질’이며, 출력된 CoT 텍스트는 내부 계산의 그림자(shadow)에 불과할 수 있다. 이는 우리가 CoT를 신뢰하기보다, 모델의 내부 표현을 모니터링하는 별도의 방법(예: 내부 표현 기반 모니터링)이 필요함을 시사한다.
근거
“결국에는 계산을 잘 이어가는 거에 의미가 있는 거구나… 어떻게든 그 CoT를 잘 이어가게 하는 일들이… 결국에는 계속 자기 회귀하는 토큰을 뱉으면서 일을 추진하고 있는 거죠. 여전히 그냥 자기 회귀를 하고 있는 거거든요. 그게 계산인 거고 그 글로 표현되는 것도 중요하지만 거기에는 쌍대(Duality)로 내부 표현이 있다는 거죠.”
연결된 생각
- 20260606-context-priming-and-model-capability — CoT faithfulness 논의가 프롬프팅 설계(맥락 프라이밍)에 미치는 함의
- 20260606-understanding-model-mechanics-helps-both — 모델 내부 메커니즘 이해의 중요성
출처
- 📎 클리핑: 20260613-ep82-ko-transcript