프리트레이닝과 RL은 다른 일을 한다. 프리트레이닝은 163,840개의 가능한 다음 토큰을 평균 3.7개로 줄인다. 의미 없는 시퀀스를 걸러내는 작업이다. RL은 그 3.7개 중에서 일반화 가능한 추론 패턴의 확률을 기하급수적으로 끌어올린다. 전체 compute의 90%는 전자에, 10% 미만이 후자에 쓰이지만 — 후자의 ROI가 훨씬 높다.
근거
대부분의 토큰은 low-entropy(모델이 확신). 하지만 “그런데 말입니다”처럼 흐름을 바꾸는 소수의 high-entropy 토큰이 실질적인 추론 분기를 결정한다. 이 토큰들에서 추론(CoT)을 생성할지 말지가 갈린다.
“프리트레이닝을 통해서 추론 없이 그냥 답을 내는 확률이 훨씬 높고 추론을 통해서 정답을 내는 확률은 굉장히 낮은 거죠. 근데 추론을 통해서 정답을 내는 경우가 정답일 확률이 높으니까 강화 학습의 현장에서는 그 부분이 비대칭적으로 보상을 더 크게 받습니다.”
연결된 생각
- 20260602-rl-amplifies-latent-reasoning-in-llm — 기술적 세부: 이 두 단계의 전체 메커니즘
- 20260602-rl-surfaces-buried-reasoning-not-new-capability — 연결: RL이 새 능력이 아닌 잠재 패턴을 끌어올린다