정의
LLM의 추론 능력을 극대화하기 위해, 모델이 자기 자신의 현재 정책(policy)으로 행동을 생성(on-policy)하고, 그 결과에 대한 정확한 보상 신호를 통해 일반화 가능한 추론 패턴을 학습하는 강화 학습 방법론이다.
핵심 속성
- On-Policy 학습: 모델이 스스로 행동(토큰 생성)하고 그 결과를 통해 학습한다. off-policy(전문가 데이터 모방)와 달리 모델의 현재 능력에 적합한 학습 경로를 찾는다. 이는 시행착오를 통한 경험 획득을 의미한다.
- 탐색 공간 축소: 프리트레이닝은 가능한 토큰 수를 극적으로 줄여(예: perplexity 3.7 수준) 강화 학습이 효과적으로 탐색할 수 있는 공간을 제공한다. 대부분의 토큰은 결정론적(낮은 엔트로피)이며, 분기점이 되는 소수의 토큰(높은 엔트로피)만이 추론에 중요하다.
- 보상 신호의 정확성: 정답만을 보상으로 사용하여 일반화 가능한 추론(Chain-of-Thought)을 선별적으로 강화한다. 추론 없이 암기로 맞춘 경우는 보상이 약하거나 억제되어(오답 비율이 높아) 상대적 강도가 낮아진다.
- 추론의 창발성: 단순히 답만 맞추는 지도 학습과 달리, 모델이 스스로 중간 사고 과정을 생성하도록 유도한다. 이 능력은 프리트레이닝에서 극히 낮은 확률로 존재하다가, RL을 통해 기하급수적으로 증폭된다.
관계
- 20260607-pretraining-search-space-reduction — 하위 개념: 프리트레이닝이 RL의 탐색 공간을 축소함
- 20260607-rlhf-reward-model-limitation — 연장 개념: RLHF에서 보상 모델의 불완전성과 on-policy RL의 차별점
- 20260607-generalization-vs-memorization — 대조: On-Policy RL이 오버피팅(암기) 대신 일반화를 유도하는 메커니즘
인용
“강화 학습을 통해서 굉장히 낮은 확률을 가지고 있었던 (pre-training된) 추론하는 패턴이 급격하게 부상하게 되는 겁니다.”