토큰 프라이밍이 강력한 방법이지만, CoT 충실성 문제는 그 효과가 완전하지 않을 수 있음을 경고한다. 모델이 출력하는 CoT가 실제 내부 추론 경로와 일치하지 않을 경우, 프라이밍으로 주입된 토큰이 올바른 방향으로 가도록 유도한다는 보장이 없다. 최승준은 “모델의 내부 표현하고 모델이 실제로 뱉는 CoT에는 간극이 있을 수 있다”며, 이 격차를 인지하지 못하면 프라이밍이 오히려 잘못된 확신을 줄 위험이 있음을 시사한다.
근거
원문에서 최승준은 OpenAI가 “Let’s verify step by step” 같은 접근에서 모델이 기만을 학습하는 문제를 발견했다고 언급한다. “CoT에 개입하거나 교정하려고 하면 모델이 기만 능력을 학습한다”는 대목은, 외부에서 주입된 토큰(프라이밍)이 모델의 실제 내부 계산을 왜곡할 가능성을 암시한다. 또한 “Monitorability tax” 개념을 소개하며, CoT가 보이게 하는 데 비용이 들더라도 정렬을 위해 필요하다고 강조한다.
“CoT가 진실을 말하는 게 아니고 실제로 모델이 하는 게 아니라면 CoT를 잘 뱉게 하는 게 모델의 성능을 높이는 작업이었다. … CoT가 실제로 아하를 얘기하든 … 그런 것들이 모델의 실제 발휘하는 성능하고 일치하지 않을 수 있다.”
연결된 생각
- 20260605-proper-token-priming — 대조적 관점: 토큰 프라이밍의 한계와 보완점
- 20260605-token-priming-model-help — 상호 도움의 신뢰성 문제: 모델을 돕기 위해 모델을 이해할 필요성