정의
검증 가능한 정답을 보상으로 사용해 추론과 에이전트 행동을 학습시키는 강화학습 방법. 과정을 설계하지 않고 최종 결과물만 평가하는 것이 핵심이며, DeepSeek-R1(2025.1)이 이 방법론을 공개하며 패러다임을 바꿨다.
핵심 속성
- 결과 중심 평가: 도구 사용 과정은 논외, 최종 산출물(예: unit test 통과)만으로 보상
- 에이전트 포스트트레이닝: RLVR로 모델이 도구를 쓰며 작업을 수행하는 에이전트로 학습됨
- 능력 분담: atomic skill은 pre-training이, 조합(composition) 능력은 RL이 담당
- 인프라 요구: 학습·샘플링·환경 상호작용 인프라가 상호 연결되어야 하며 정확성-속도 트레이드오프가 핵심 난제
관계
- 20260603-verifiable-reward — 상위개념: 검증 가능한 보상
- 20260603-rlhf-makes-chatbots-rlvr-makes-agents — 적용: RLHF와의 대조
- 20260603-rl-teaches-composition-not-atomic-skill — 연장: RL이 학습하는 능력의 범위
인용
RLVR을 통해서 모델을 에이전트로 학습시키는 것이 가능해졌다.