2025년 AI 커뮤니티는 RLVR이 단순히 기존 능력을 끌어내는 도구인지, 새로운 능력을 부여하는지 논쟁해왔다. 클리핑에서 김성현은 RLVR이 atomic skill(원자적 능력)을 조합하는 능력을 학습시킨다는 통찰을 제시한다. 이는 pre-training에서 배운 기본 스킬(예: 사칙연산)을 RLVR이 복잡한 문제 해결을 위한 체인으로 연결하는 능력을 부여한다는 의미다. 즉, RLVR은 모델이 “무엇을 배울지”가 아니라 “배운 것을 어떻게 연결할지”를 학습하게 한다. 이것은 기존의 RLHF가 챗봇의 대화 능력을 향상시킨 것과 달리, 에이전트가 도구를 사용하고 긴 추론 체인을 수행할 수 있게 하는 핵심 메커니즘이다.
근거
“RL을 통해서 어떤 능력을 배울 수 있냐면 이 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”
“RLVR을 통해서 모델을 에이전트로 학습시키는 것이 가능해졌다.”
연결된 생각
- 20260607-moe-and-rlvr-paradigm — 상위 개념: MoE와 RLVR의 패러다임 전환
- 20260607-continual-learning-and-autonomous-agents — 연장: 이 조합 능력이 자율적 에이전트의 기반이 된다
출처
- 📎 클리핑: 20260613-ep98-ko-transcript