2024년까지 RLVR의 역할에 대한 가장 일반적인 이해는 “pre-training에서 이미 학습된 능력을 RL이 끌어낸다”는 것이었다. 하지만 2025년 후반 경험적 연구는 이 그림을 더 정밀하게 그려준다. RLVR은 원자적 스킬(atomic skill) 자체를 학습하는 것이 아니라, 이 스킬들을 문제 해결에 맞게 순차적으로 조합(체이닝)하는 능력을 부여한다. 이 관점은 pre-training과 post-training의 역할 분담을 완전히 재정의하게 만들었다.
근거
원문에서 김성현은 “RL을 통해서 어떤 능력을 배울 수 있냐면 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다”고 말한다. “atomic skill은 pre-training에서 배우며, 이 개별 기술들을 잘 조합하는 능력은 RL을 통해 학습된다”는 설명은, 간단한 수학 문제에서부터 코딩 에이전트의 복잡한 시퀀스에 이르기까지 일관된 프레임워크를 제공한다.
이 프레임워크의 시사점은 크다. mid-training 단계에서 원자적 능력(예: 도구 호출, 코드 읽기, 디버깅)을 집중적으로 주입하면, 이후 RL이 이들을 자유롭게 조합할 수 있다는 전략이 가능해진다. “Pre-training에서 없는 건 안 된다”는 비관론에서 “조합할 능력이 있다면 없던 것도 만들 수 있다”는 낙관론으로의 전환이다.
연결된 생각
- 20260606-ai-paradigm-shift-2025-moe-rlvr — RLVR의 패러다임적 전환
- agent-post-training — RLVR이 에이전트 학습으로 확장되는 구체적 방법
- deepseek-r1-paper — RLVR의 선언적 사례
- mino-atomic-skill-theory — 개념적 배경 (가칭)