DeepSeek-R1이 공개한 RLVR(Reinforcement Learning with Verifiable Rewards)은 2025년 AI에서 가장 영향력 있는 방법론적 혁신이었다. 단순히 수학 추론 능력을 높인 것을 넘어, 이 방법이 에이전트 학습이라는 더 큰 패러다임의 문을 열었기 때문이다.
핵심 아이디어는 간명하다: 모델에게 도구 사용 능력을 부여한 뒤, 최종 결과물(예: unit test 통과)만으로 보상을 준다. 중간 과정은 모델이 스스로 탐색하도록 방치하는 것이다. 이는 기존의 세밀한 행동 설계가 필요했던 에이전트 학습과 완전히 다른 접근법이다.
더 깊은 통찰은 RLVR이 원자적 스킬(atomic skill)을 조합하는 능력을 가르친다는 점이다. Pre-training에서 기본 스킬을 배우고, RLVR이 그 스킬들을 문제에 맞게 체이닝하고 조합하는 방법을 학습시킨다. 이 관점은 “RL이 새로운 능력을 부여하는가 vs 기존 능력을 끌어내는가”라는 오랜 논쟁에 하나의 답을 제시한다: RLVR은 조합 능력을 새로 부여하며, 따라서 pre-training의 규모가 더 중요해진다.
근거
“모델이 일단 도구를 사용할 수 있게 해준 다음에 모델이 도구를 어떻게 사용할 것인가, 이 부분은 논외로 하고 최종 결과물을 가지고 평가하자, 이 패러다임으로 전환되는 겁니다.” “RL을 통해서 원자적인 능력들, 에이전트에 필요한 원자적인 능력들을 개별적으로 잘 부여하는 데 집중해 보자, 이런 형태의 사고의 전환 같은 것들이 벌써 일어나고 있는 것 같습니다.”
연결된 생각
- 20260606-moe-and-rlvr-paradigm-shift-2025 — RLVR이 패러다임 전환의 두 번째 축
- 20260606-continual-learning-human-alignment-key-2026 — RLVR의 확장으로서 continual learning과 정렬 문제
출처
- 📎 클리핑: 20260613-ep98-ko-transcript