2025년 모델 패러다임 전환을 한 문장으로 요약하면 이렇다. RLHF는 챗봇을 위한 post-training이었고, RLVR은 에이전트를 위한 post-training이다. 이 구분은 왜 2025년부터 모든 프론티어 모델에 에이전트 능력과 추론이 기본 탑재되었는지를 설명한다.
근거
핵심 메커니즘은 “과정을 설계하지 않고 최종 결과만 평가한다”는 것이다. 모델에게 도구를 쥐여주고, 그 도구를 어떻게 쓸지는 논외로 둔 채 최종 산출물(예: unit test 통과 여부)만으로 보상을 준다.
모델이 일단 도구를 사용할 수 있게 해준 다음에 (…) 최종 결과물을 가지고 평가하자, 이 패러다임으로 전환되는 겁니다.
이전에는 결과에 이르는 모든 과정을 사람이 설계해야 했다. RLVR은 그 설계 부담을 모델에게 넘겼고, 그 결과 모델 자체가 에이전트로 학습되기 시작했다. 오늘날의 코딩 에이전트는 모두 이 에이전트 포스트트레이닝의 산물이다. 이 전환을 공개해버린 것이 DeepSeek-R1(2025년 1월)이다.
연결된 생각
- 20260603-rl-teaches-composition-not-atomic-skill — RLVR이 정확히 무엇을 학습시키는가
- 20260603-verifiable-reward — 보상 신호의 본질