정의
LLM의 포스트 트레이닝 단계에서 강화 학습(RL)을 활용하여, 프리트레이닝 과정에서 낮은 확률로 존재하던 추론(Chain-of-Thought) 패턴을 빠르게 증폭시키는 방법론. 핵심은 on-policy 학습, 정확한 보상 함수, 모델이 실제로 풀 수 있는 문제의 제공이다.
핵심 속성
- On-Policy 학습: 모델이 직접 행동하고 경험한 데이터만으로 학습. 전문가 데이터를 사용하는 off-policy와 달리 모델의 실제 능력과 일치하는 일반화를 가능하게 함.
- 정확한 보상 함수: 정답과 오답을 엄격히 구분하여, 일반화 가능한 추론 패턴만 선택적으로 강화하고 우연히 맞힌 경우를 억제.
- 프리트레이닝의 탐색 공간 축소: 프리트레이닝은 perplexity를 크게 낮춰(예: Kimi K2의 perplexity 3.7) 실질적인 탐색 공간을 극소화함. 이 축소된 공간 내에서만 RL이 효율적으로 작동.
- 추론 패턴의 비대칭적 강화: 프리트레이닝에서 추론 패턴은 낮은 확률로 존재하지만, 정답일 확률이 훨씬 높아 RL 보상에 의해 기하급수적으로 부상.
- 모델이 풀 수 있는 문제 제공: 문제 해결에 필요한 연산량이 모델의 레이어 용량을 초과할 경우 일반화가 불가능하므로, 단계적 추론(CoT)으로 연산을 분산하여 모델의 능력 범위 내로 문제를 재구성해야 함.
관계
- 20260605-pretraining-compresses-rl-amplifies — 프리트레이닝과 RL의 협력 메커니즘을 구체적으로 설명
- 20260605-on-policy-rl-is-key-to-generalization — on-policy 학습의 중요성과 off-policy의 한계를 다룸
- 20260605-accurate-reward-selects-generalizable-behavior — 정확한 보상 함수의 역할을 심화
인용
“프리트레이닝을 통해서 말도 안 되는 토큰들은 다 쳐내고 선택지를 줄여주는 거죠. … 추론을 생성한 사례가 강화를 받겠죠.”
“on-policy여야 모델이 자기 능력에 따라서 문제를 풀게 하기 위해서 … 모델이 직접 문제를 풀어보고 자기의 방식으로 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.”