LLM이 추론할 때 생성하는 토큰 대부분은 불확실성(entropy)이 낮다. 사칙연산처럼 정해진 흐름은 모델이 거의 확신하며 자동으로 따라온다. 진짜 탐색이 일어나는 곳은 ‘maybe’, ‘그렇다면 어떨까’ 같은 소수의 high-entropy 토큰뿐이다. 이 지점에서 사고의 흐름이 갈리고, 추론의 질이 결정된다.
근거
김성현은 추론 trajectory를 시각화하면 대부분 토큰이 파란색(저 entropy)이고 극소수만 붉은색(고 entropy)이라고 설명한다. 흥미롭게도 어려워 보이는 수치 계산이 아니라 평이해 보이는 ‘생각을 바꾸는’ 토큰들이 갈림길이 된다. 실제 탐색 공간은 이 소수 토큰으로 압축된다.
“불확실성이 높아지는 부분, 예측의 가치가 있는 부분들은 이렇게 생각의 흐름을 바꾸는 토큰들입니다. 분기를 나눠주는.”
ep76에서 최승준은 이 개념을 교육의 불확실한 순간 — 아이의 놀이가 어디로 향할지 갈리는 결정적 지점 — 과 동형으로 본다. 같은 심상이 두 도메인을 가로지른다.
연결된 생각
- 20260602-rl-amplifies-latent-reasoning-in-llm — 이 갈림길에서 추론 경로를 택할 확률을 RL이 증폭한다
- 20260602-pretrain-collapses-search-space-rl-tilts-the-odds — pre-training이 탐색 공간을 좁혀 갈림길을 소수로 만든다
- 20260603-teacher-holds-ariadnes-thread-in-the-learning-maze — 불확실한 분기점에서의 개입이 결과를 가른다는 교육적 동형