Kimi K2 모델 발표와 강화 학습 논의에서 가장 눈에 띈 인사이트는 “추론 능력은 새로 만들어지는 것이 아니라 이미 pre-training 속에 씨앗으로 존재하며, RL이 그 씨앗을 키운다”는 점이다. LLM은 pre-training 과정에서 수많은 패턴을 학습하지만, 추론(Chain-of-Thought)을 생성하는 패턴의 확률은 매우 낮다. 그런데 On-Policy RL을 적용하면, 추론을 통해 정답을 맞출 확률이 추론 없이 맞출 확률보다 높기 때문에 비대칭적으로 추론 패턴이 강화되어 급격히 부상한다. 이는 RL이 새로운 능력을 창조하는 것이 아니라 이미 존재하는 잠재 능력을 효율적으로 발현시키는 메커니즘임을 시사한다.
근거
원문에서 김성현은 추론 생성 확률과 정답 확률의 비대칭성을 강조하며, 강화 학습이 이 비대칭성을 이용해 추론 패턴을 지수적으로 부상시킨다고 설명했다.
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. 추론을 생성하지 않을 확률이 있습니다… 이게 비대칭적인 상황… 강화 학습은 정답인 경우에 확률을 높여주는 것인데, 추론을 생성한 사례가 강화를 받는다… 지수적으로 늘어난다.”
연결된 생각
- 20260606-on-policy-rl-for-llm-reasoning — 상위 개념: On-Policy RL이 LLM 추론을 발현시키는 원리
- 20260606-accurate-reward-feedback-supports-generalization — 연장: 정확한 보상 피드백이 이 과정을 어떻게 뒷받침하는지