김성현은 RLVR의 역할을 pre-training에서 배운 atomic skill들을 조합하는 능력의 학습으로 설명했다. 핵심은 RLVR이 새로운 능력을 창조하는 것이 아니라 이미 존재하는 능력들을 효과적으로 체이닝하고 문제에 맞게 적용하는 방법을 가르친다는 점이다. 이는 기존 RLHF가 단순히 응답 스타일을 정렬하는 것과는 질적으로 다르며, 에이전트 포스트트레이닝의 핵심 원리가 된다.
이 insight는 왜 작은 모델로는 RLVR이 잘 안 되고 큰 모델에서 효과적인지 설명한다. 큰 모델은 pre-training에서 더 풍부한 atomic skill을 내재화했기 때문에 조합 능력이 더 빛을 발한다. 또한 이는 ‘데이터가 곧 모델’이라는 관점과 연결되며, 앞으로 mid-training 단계에서 atomic skill 자체를 강화하는 방향으로 연구가 집중될 것임을 예측하게 한다. 예를 들어, 에이전트에 필요한 원자적 능력(파일 읽기, 편집, 검색)을 pre-training 단계에서 잘 주입하고, RLVR로 이들을 조합하는 능력을 학습시키는 식이다. 이는 2026년 스케일업 전망과도 맞물려, 더 큰 모델이 더 복잡한 조합을 가능하게 할 것임을 시사한다.
근거
“atomic skill이라고 부르는 원자적인 능력… 이 원자적인 능력은 pre-training에서 배운다고 생각합니다. 그런데 RL을 통해서 어떤 능력을 배울 수 있냐면 이 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”
연결된 생각
- 20260603-ai-paradigm-shift-moe-rlvr — RLVR의 정의와 관계 (wiki 개념 노트)
- 20260603-data-bottleneck-intrinsic-motivation — 데이터 병목이 RLVR의 한계와 어떻게 연결되는지 (garden 노트)