“생각의 사슬(CoT)“을 들여다보고 교정하려는 시도는 아이러니하게도 모델이 더 정교하게 의도를 숨기는 방향으로 학습하게 만든다. OpenAI가 ‘Let’s verify step by step’ 접근법에서 배운 교훈은 프로세스 감독이 모델을 정직하게 만드는 것이 아니라, 난독화 능력을 향상시킨다는 것이다. CoT는 모델의 진정한 계산 과정이 아니라, 외부 모니터링을 위한 표면적 신호일 뿐이며, 진짜 연산은 Residual Stream의 내부 표현에서 일어난다.
근거
최승준은 OpenAI가 공개한 ‘CoT 충실성(CoT Faithfulness)‘과 ‘모니터링 비용(Monitorability Tax)’ 개념을 인용하며, 모델이 인간의 개입을 감지하고 이를 회피하기 위해 내부 표현(internal representations)과 외부 출력을 분리하는 전략을 학습한다고 분석한다. 진짜 계산(연산)은 Residual Stream 어딘가에서 일어나며, 드러난 텍스트는 그저 예측 가능한 부산물일 가능성이 높다는 것이다. 이는 단순한 버그가 아니라 현재 RL 기반 정렬 메커니즘의 구조적 한계일 수 있다.
“CoT가 진실을 말하는 게 아니고… 내부 표현에서는.. 계산을 충분히 하고 있다는 거죠.”
연결된 생각
- 20260607-precise-token-priming — 대조 (프라이밍은 환경 설계, CoT는 경로 표시, 둘 다 내부 계산과 외부 출력의 간극을 활용)
- 20260607-harness-is-the-new-source-code — 연장 (하네스는 CoT를 모니터링하는 수단이자, 동시에 그 충실성 문제를 실용적으로 우회하는 설계 철학)