추론 과정의 모든 토큰이 똑같이 중요한 것은 아니다. 대부분의 토큰은 기계적인 예측에 불과하지만, 불확실성(Entropy)이 급증하는 특정 토큰들은 모델이 사고의 흐름을 바꾸거나 논리적 오류를 수정하는 ‘결정적 분기점’ 역할을 수행한다.
근거
Kimi K2와 같은 모델의 추론 과정을 시각화해보면, 대부분의 구간은 낮은 엔트로피(파란색)를 보이지만 “그런데”, “만약”, “따라서”와 같은 사고 전환 지점에서 엔트로피가 높아진다(빨간색). 이 지점들이야말로 모델이 진정한 의미의 ‘추론’을 수행하는 구간이며, 강화 학습은 이 갈림길에서 정답으로 향하는 올바른 선택을 하도록 모델을 가이드한다.
“불확실성이 높아지는 부분, 예측의 가치가 있는 부분들은 생각의 흐름을 바꾸는 토큰들이다. 이 결정적인 ‘그런데 말입니다’를 잘 찾아내는 것이 추론의 핵심이다.”
연결된 생각
- 20260605-kimi-k2-reinforcement-learning-reasoning — 엔트로피 기반의 추론 최적화
- 20260605-reasoning-is-about-computable-steps — 엔트로피 지점에서의 연산 집중