이 통찰은 2025년 RLVR에 대한 이해가 깊어지면서 등장했다. 처음에는 RL이 단순히 기존 능력을 끌어내는 것이라는 관점이 지배적이었지만, atomic skill(사칙연산 같은 기초 능력)과 그 조합 능력의 분리를 통해 RL이 실제로 무언가를 학습한다는 증거가 쌓였다. 이는 pre-training과 post-training의 역할을 재정의하고, mid-training의 방향성에도 영향을 미친다.
근거
“원자적인 능력이라고 하면 사칙연산 같은 거라 생각할 수 있을 것 같아요. 사칙연산 같은 부분이 원자적인 능력이고 이 사칙연산들을 잘 조합해서 어떤 더 복잡한 문제를 푸는 능력, 이것이 조합의 능력이라고 볼 수 있을 것 같습니다. … RL을 통해서 어떤 능력을 배울 수 있냐면 이 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.” (김성현)
이 통찰이 중요한 이유는 “RL은 기존 능력만 끌어낼 뿐 새로운 능력을 만들지 못한다”는 비관론을 넘어, RL이 질적으로 새로운 인지적 스킬(조합 능력)을 부여할 수 있음을 시사하기 때문이다. 또한 pre-training에서 atomic skill을 강화하면 RL을 통해 더 복잡한 문제를 해결할 수 있다는 전략적 방향을 제시한다.
연결된 생각
- 20260606-moe-rlvr-paradigm-shift — RLVR 패러다임의 핵심 메커니즘으로서의 atomic skill 조합
- agent-post-training — RLVR이 에이전트의 도구 사용 능력을 학습시키는 방식과 연결