정의
RLVR(Reinforcement Learning for Verification and Reasoning)은 LLM의 포스트 트레이닝 단계에서 강화 학습(RL)을 활용하여 모델의 추론(Chain-of-Thought) 능력을 극대화하는 방법론이다. DeepSeek R1과 Kimi K2 등에서 적용되어, 프리트레이닝 단계에서 낮은 확률로 존재하던 추론 패턴을 급격히 부상시킨다.
핵심 속성
- 학습 방식: On-policy RL. 모델이 직접 문제를 풀고 그 결과에 대해 보상을 받는다. Off-policy(전문가 데이터 모방)와 달리 모델의 실제 능력에 맞춘 학습이 가능하다.
- 보상 신호: 정답 여부를 엄격하게 판단. 추론 과정 자체에는 보상을 주지 않음 (DeepSeek R1 방식). 정확한 피드백이 일반화 가능한 패턴을 강화하고, 찍어 맞히는 패턴을 억제한다.
- 전제 조건: 모델이 풀 수 있는 문제를 제공해야 일반화가 가능하다. 문제가 모델의 연산 능력을 초과하면 모델은 암기(오버피팅)로 대응한다.
- 효율성: 적은 연산량으로도 추론 능력이 빠르게 향상. 프리트레이닝 대비 포스트 트레이닝의 compute 비중이 10% 미만이지만 성능 향상 효과는 크다.
관계
- 20260607-reasoning-ability-exists-in-pretraining-rl-amplifies — 하위개념: 프리트레이닝 내 추론 능력 존재와 RL 증폭 메커니즘
- 20260607-on-policy-rl-crucial-for-generalization — 하위개념: On-policy RL의 필요성 구체화
- 20260607-moe-quantization-post-training-efficiency — 하위개념: MoE 양자화는 RLVR이 적용된 모델의 효율적 배포를 가능하게 함
인용
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. … 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.”