CoT Faithfulness 논의는 모델이 뱉는 추론 과정이 실제 내부 계산과 일치하지 않을 수 있음을 지적한다. 그러나 최승준은 이 이중성(duality)이 오히려 핵심이라고 본다. 내부 표현에서 충분한 계산이 일어나고 있다면, 외부 CoT가 완전히 충실하지 않더라도 test-time compute를 늘리는 전략은 여전히 유효하다. 중요한 것은 “토큰을 계속 자기 회귀시키며 계산을 이어가는 것” 자체이며, 내부 표현과 외부 출력은 쌍대 관계를 이룬다. 따라서 CoT에 과도하게 개입(monitorability tax)하지 않고 내부 계산을 신뢰하는 방향으로 정렬 연구가 진행되고 있다.
근거
원문에서 승준은 “모델의 내부 표현하고 모델이 실제로 뱉는 CoT에는 간극이 있을 수 있다”는 점을 언급하며, OpenAI의 연구에서 CoT에 개입할 경우 모델이 오히려 기만 능력을 학습한다는 교훈을 인용한다. 그럼에도 “결국에는 자기 회귀하는 토큰을 뱉으면서 일을 추진하고 있는 거죠. 여전히 그냥 자기 회귀를 하고 있는 거거든요. 그게 계산인 거고 그 글로 표현되는 것도 물론 굉장히 중요하지만 거기에는 쌍대(Duality)로, 그러니까 쌍으로 내부 표현이 있다”고 말한다.
거기에서 진실이 드러나지는 않을지언정 계산을 충분히 하고 있다는 거죠. 내부 표현에서는. (원문)
연결된 생각
- 20260606-proper-token-priming — 적확한 토큰이 내부 계산의 방향을 결정.
- 20260606-token-supply-determines-performance — 토큰 공급이 CoT의 품질에 영향을 미침.