LLM의 프리트레이닝은 엄청난 탐색 공간(예: Kimi K2의 경우 163,840개 토큰의 100제곱)을 perplexity 3.7 수준으로 압축한다. 이는 마치 바벨의 도서관에서 의미 있는 책 몇 권만 남기는 것과 같다. 하지만 이 압축된 공간에서도 추론(CoT) 패턴은 극히 낮은 확률로만 존재한다. 강화 학습은 바로 이 지점에서 결정적인 역할을 한다. 정답을 맞춘 경우에만 보상을 주기 때문에, 추론을 통해 정답을 낼 확률이 추론 없이 찍어서 맞힐 확률보다 비대칭적으로 높다는 점을 이용한다. 추론 패턴의 확률은 기하급수적으로 증가하여 적은 연산만으로도 모델의 주된 행동 양식으로 부상한다. 이 메커니즘은 왜 포스트 트레이닝이 프리트레이닝 대비 10% 미만의 컴퓨팅으로도 극적인 성능 향상을 가져오는지 설명한다.
근거
“가능성의 수는 vocabulary의 100제곱… perplexity 3.7로 선택지가 3.7개로 줄어듦. … 추론할 확률은 낮지만 정답일 확률이 높아 비대칭적 강화가 일어난다.”
“pre-training에서는 추론 없이 정답만 내놓는 경우가 대부분이기 때문에 그 확률이 계속 높고 추론을 통해서 정답을 내놓는 확률은 굉장히 낮은 거죠. 근데 추론을 통해서 정답을 내는 경우가 정답일 확률이 높으니까 강화 학습의 현장에서는 그 부분이 비대칭적으로 보상을 더 크게 받습니다.”
연결된 생각
- 20260605-post-training-rl-principles — 이 현상의 기반이 되는 일반 원리
- 20260605-on-policy-rl-is-key-to-generalization — 이 과정에서 on-policy 학습이 왜 필수적인지