RL이 LLM에 추론 능력을 “준다”는 표현은 반만 맞다. 프리트레이닝 과정에서 추론(CoT) 패턴은 이미 극히 낮은 확률로 존재한다. 문제는 이 패턴이 묻혀 있다는 것이다. 강화 학습은 비대칭 보상 구조를 통해 이 패턴을 기하급수적으로 끌어올린다 — 전체 compute의 10% 미만으로.
근거
추론을 생성할 확률은 낮지만, 추론했을 때 정답일 확률은 비추론 경우보다 높다. RL은 정답 여부만 본다. 그러면 추론한 소수의 케이스가 상대적으로 더 강한 보상을 받고, 이게 매 스텝마다 기하급수적으로 확률을 높인다.
“pre-training에서 이런 패턴을 학습하는 것에 비해서 강화 학습은 이게 굉장히 빠르게 일어난다고 얘기를 합니다. 지수적으로 높아진다고 표현을 합니다.”
그러나 단순히 “있던 걸 꺼낸 것”이라고만 볼 수도 없다. 수학 추론으로 학습한 패턴이 시 작성으로도 전이되고, 기존 능력 A + B가 새로운 능력 C로 조합되는 창발도 관찰된다.
연결된 생각
- 20260602-rl-amplifies-latent-reasoning-in-llm — 이 인사이트의 기술적 메커니즘 전체 정리
- 20260602-pretrain-collapses-search-space-rl-tilts-the-odds — 프리트레이닝과 RL의 역할 분담