RL이 모델에 새로운 능력을 부여하는가, 아니면 묻혀 있던 기존 능력을 끌어내는가 — 이 오래된 논쟁이 2025년에 더 정교한 답을 얻었다. atomic skill(사칙연산 같은 원자적 능력)은 pre-training에서 배우고, 그것을 순서에 맞게 조합하는 능력(composition)은 RL을 통해 배운다는 것이다.
근거
이 기본적인 능력을 순서에 맞게 조합해서 어떤 새로운 문제를 풀 수 있게 해주는 능력, 이런 조합하는 능력은 RL을 통해서 학습하는 거 (…) 할 수 있는 것 같다.
이 구분은 실용적 함의가 크다. 만약 어떤 atomic skill 자체가 pre-training에 없다면, RL을 아무리 돌려도 그 능력을 만들어낼 수 없다. RL은 이미 가진 도구를 체이닝(f(g(x)))하는 법을 배울 뿐이다. 따라서 모델의 천장은 여전히 pre-training이 결정하고, RL은 그 천장 아래의 잠재력을 인출하는 장치다. “RL은 기존 능력을 잘 꺼낼 수 있도록 해주는 것”이라는 직관이 여기서 정합성을 얻는다.
연결된 생각
- 20260603-rlhf-makes-chatbots-rlvr-makes-agents — RLVR이 무엇을 만드는가
- 20260603-moe-is-sparsity-not-domain-experts — 같은 에피소드, 희소성·모듈화