많은 사람들이 추론 모델에 강화 학습을 적용하면 새로운 능력이 ‘창발’한다고 생각하지만, 실제 메커니즘은 다르다. DeepSeek R1, Kimi K2의 사례는 RL이 완전히 새로운 능력을 만드는 것이 아니라, pre-training 단계에서 이미 극히 낮은 확률로 존재하던 추론 패턴의 생성 확률을 지수적으로 증폭시키는 과정임을 보여준다.
핵심은 비대칭적 확률 구조다. 프리트레이닝된 LLM은 추론 과정(Chain-of-Thought)을 생성할 확률이 매우 낮지만(예: 1%), 일단 추론을 생성했을 때 정답을 맞출 확률은 추론 없이 답할 때보다 훨씬 높다. RL은 이 ‘정답’ 이벤트에 대해서만 보상을 주기 때문에, 추론 패턴은 생성 확률 대비 더 큰 강화를 받는다. 한 번 강화되면 확률이 두 배, 네 배로 기하급수적으로 증가한다.
이 관점은 Pre-training과 Post-training의 역할을 명확히 구분해준다. Pre-training은 ‘말이 되는 시퀀스’의 지형도를 그리는 역할(perplexity를 163,840에서 3.7로 압축)을 하고, 그 지형도 속에 추론 경로가 이미 희미하게 존재한다. RL은 그 희미한 길을 ‘고속도로’로 만드는 작업인 셈이다. 따라서 ‘RL이 추론 능력을 창조했다’는 표현보다 ‘RL이 pre-training에서 잠재된 추론 능력을 가시화했다’고 보는 것이 정확하다.
이 통찰은 실제 활용에도 시사점을 준다. 모델이 할 수 있는 것(모델의 현재 능력 범위)을 넘어서는 추론 구조를 강제로 부여하려 하면 오히려 일반화가 막힌다. DeepSeek R1이 단순히 ‘추론 과정과 정답만 구분’하고 내부 과정을 일체 규제하지 않은 이유가 여기에 있다.
근거
“추론을 생성할 확률이 LLM은 굉장히 낮습니다. 근데 추론을 했을 때 답이 맞을 확률이 높습니다. … 강화 학습의 과정에서 … 비대칭적이니까 추론을 한 경우에 좀 더 주목을 하는 거죠. … 기하급수적으로 늘어나는 것이죠. 그래서 각 단계마다 기하급수적으로 늘어나기 때문에 굉장히 빠르게 능력이 학습됩니다.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — Pre-training에서 RL로의 능력 전이 메커니즘을 개념적으로 정리 (상위개념 관계)
- 20260606-on-policy-necessity-for-generalization — 왜 on-policy RL이 일반화 가능한 추론을 만드는지에 대한 설명 (연장: 같은 맥락)