2025년 RLVR에 대한 이해가 깊어지면서 중요한 개념적 전환이 일어났다. 초기에는 RL이 pre-training에서 학습한 능력을 단순히 ‘끌어내는’ 것이라는 관점이 지배적이었지만, 최근 연구는 RL이 오히려 ‘조합하는 능력’을 학습시킨다는 새로운 이해를 제시한다. 즉, 사칙연산과 같은 원자적 스킬(atomic skill)은 pre-training에서 이미 습득되지만, 이 스킬들을 순서대로 체이닝하고 복잡한 문제에 맞게 조합하는 능력은 RL을 통해서만 획득된다는 것이다.
이 구분은 실용적으로 매우 중요하다. pre-training에서 atomic skill을 잘 갈고닦는 데 집중하고, post-training에서는 조합 능력을 키우는 RL에 집중하는 식으로 학습 파이프라인을 설계할 수 있기 때문이다. mid-training이라는 새로운 단계가 등장한 것도 이와 무관하지 않다. 이는 단순한 학문적 통찰을 넘어, 실제 모델 개발 전략에 직접적인 영향을 미치는 실용적 지식이다.
근거
“RL이 부여하는 새로운 능력에 대한 아이디어가 생겼습니다. 그게 이제 atomic skill이라고 부르는 원자적인 능력이라는 것과 이 원자적인 능력을 조합하는 능력에 대한 부분입니다.”
“이 원자적인 능력은 pre-training에서 배운다고 생각합니다… 그런데 RL을 통해서 어떤 능력을 배울 수 있냐면 이 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”
연결된 생각
- 20260606-mixture-of-experts-scaling — MoE의 모듈화와 조합 가능성 개념은 RL의 atomic skill 조합과 구조적 유사성을 가짐
- 20260606-pretraining-mid-training-post-training-pipeline — 이 통찰은 학습 파이프라인의 각 단계 역할을 재정의하는 기반이 됨