정의
RLVR(Reinforcement Learning with Verifiable Rewards)은 검증 가능한 정답(수학, 코딩 등)을 보상 신호로 사용하여 모델의 추론 능력과 에이전트 행동을 학습시키는 포스트트레이닝 방법이다. DeepSeek‑R1 논문에서 처음 공개되어 오픈소스 커뮤니티에 널리 확산되었으며, 현재 프런티어 모델이 에이전트로서 기능하기 위해 기본적으로 채택하는 핵심 프레임워크이다.
핵심 속성
- 검증 가능한 보상(Verifiable Reward): 명확한 정답이 존재하는 태스크(수학 문제, unit test, 목표 달성 등)에 대해 모델이 생성한 결과를 자동으로 평가하여 보상을 부여.
- 최종 결과 중심 평가: 모델이 도구를 어떻게 사용했는지(과정)는 무시하고 최종 결과물만으로 보상 결정. 이로 인해 에이전트가 스스로 도구 사용 방식을 탐색하도록 유도.
- 도구 사용 환경(Tool‑use Environment): 모델에 코드 편집기, 파일 시스템, 웹 검색 등 외부 도구를 제공하고 상호작용하게 함으로써 실제 작업 맥락에서 학습이 이루어짐.
- 복합 RL 인프라 요구: 학습(모델 업데이트), 샘플링(출력 생성), 환경 평가(보상 계산) 세 가지 이질적인 인프라가 빠르고 정확하게 연결되어야 함. MoE 모델의 경우 안정적인 RL 학습이 별도의 도전 과제.
- Atomic Skill 조합 능력 학습: Pre‑training에서 배운 기본 능력(사칙연산, 코드 쓰기 등)을 RL이 순서에 맞게 조합하는 능력을 부여한다는 경험적 가설. RL은 새로운 능력을 창조하기보다 기존 능력을 효과적으로 연결하여 복잡한 문제를 해결하게 함.
관계
- 20260606-mixture-of-experts-dominant-architecture — 동시대 패러다임: MoE는 아키텍처 측면, RLVR은 학습 방법 측면에서 2025년 AI의 두 축을 이룸.
- 20260606-data-bottleneck-frontier — 상위 맥락: RLVR도 고품질 보상 데이터가 필요하지만, 데이터 병목을 해결할 continual learning 방향으로 진화할 가능성.
- 20260606-continual-learning-intrinsic-motivation-alignment — 미래 방향: 모델이 스스로 학습 대상을 발견하는 continual learning이 RLVR의 다음 단계로 논의됨.
인용
“RLVR이라는 방법, 검증 가능한 방식으로 정답을 사용해서 보상을 주면 추론이 학습된다. … 이걸 통해서 모델이 에이전트로서 학습되는 것이 가능해진 겁니다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript