정의
On-policy 강화 학습은 LLM의 추론 능력을 향상시키기 위해 모델이 스스로 생성한 추론 경로(trajectory)에 대해 정확한 피드백(정답 여부)을 보상으로 제공하여 일반화 가능한 추론 패턴을 증폭시키는 방법이다. 이는 모델이 자신의 현재 능력 내에서 문제를 해결하도록 유도하여 오버피팅을 방지하고, 프리트레이닝에서 희소하게 존재하던 추론 경로를 급속히 확대한다.
핵심 속성
- 온-정책(On-policy) 학습: 모델 자신이 생성한 행동(추론 체인)만으로 학습. 전문가 데이터나 과거의 자신 행동을 재사용하지 않음. 모델의 현재 능력과 환경이 일치해야 일반화 가능한 패턴이 학습됨.
- 정확한 피드백: 보상(정답/오답)이 정확해야 함. 정답만 보상하고 오답은 제로 보상으로 유지해야 추론 없이 찍는 암기 패턴이 강화되지 않음. 이는 일반화 가능한 추론 경로만 선택적으로 부상하게 함.
- 모델이 풀 수 있는 문제 제공: 모델의 연산 능력(레이어 수, 어텐션 헤드 등) 내에서 단계적으로 해결 가능한 문제여야 함. 풀 수 없는 문제는 암기(오버피팅)로 이어짐. 추론을 여러 토큰으로 분산하여 각 단계의 연산량을 줄이는 것이 중요.
- 프리트레이닝의 역할: 프리트레이닝은 탐색 공간을 극적으로 압축(perplexity 163,840→3.7)하여 추론 경로가 희소하게 존재하는 기반을 마련. RL은 이 압축된 공간에서 비대칭적 강화(추론 생성 확률은 낮지만 정답 확률이 높은 경로를 지수적으로 증폭)를 통해 추론을 주류 패턴으로 만듦.
관계
- 20260607-pretraining-compresses-search-space-rl-amplifies-reasoning — 프리트레이닝이 RL의 성공을 위한 선행 조건을 제공함
- 20260607-on-policy-rl-mirrors-human-learning — 인간의 학습 방식과의 유비를 통해 온-정책의 중요성을 강조함
- RLHF — 최초의 LLM RL 적용 사례이나 보상 모델의 한계로 완전한 온-정책이 아님
- DeepSeek R1 — 온-정책 RL로 추론을 성공적으로 학습한 사례 (개념적으로 연결됨)
인용
“강화 학습을 통해서 추론하지 않고 암기해서 푸는 패턴보다 추론을 통해 일반화 가능한 방식으로 푸는 패턴이 상대적으로 더 강화된다… 정확한 피드백을 주는 것이 일반화 가능한 패턴을 발견하는 데 도움이 된다.”