대부분의 LLM 사용자들은 모델이 “생각하는 것”처럼 보이는 현상에 익숙하지만, 그 이면에는 흥미로운 역설이 있다. 프리트레이닝 데이터(인터넷 텍스트)는 대부분 결과만 제시하고 중간 추론 과정은 생략한다. 예를 들어 수학 문제 풀이 포럼에서도 답만 적히는 경우가 대부분이다. 그럼에도 LLM은 낮은 확률로 추론 과정을 생성하는 능력을 이미 갖추고 있다. 이는 인터넷 포럼의 상호작용이나 일부 질문-답변 데이터에 희박하게 포함된 추론 패턴 덕분이다. 강화 학습(RL)은 이 희박한 패턴에 주목한다. 추론을 생성했을 때 정답일 확률이 추론 없이 답할 때보다 높기 때문에, RL의 보상이 추론 패턴에 더 강하게 부여된다. 이로 인해 추론을 생성할 확률이 기하급수적으로 증가한다. 즉, RL은 모델에게 새로운 능력을 “주입”하는 것이 아니라, 이미 존재하지만 묻혀 있던 능력을 “발현”시키는 역할을 한다. 이 메커니즘은 Kimi K2와 같은 최신 모델에서 추론 능력이 빠르게 향상된 이유를 설명한다.
근거
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. … 추론을 생성할 확률은 낮지만 추론이 생성될 확률에 비해서 정답일 확률은 높습니다. 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.”
연결된 생각
- 20260607-rlvr-llm-reasoning-emergence — 상위개념: RLVR 방법론의 핵심 원리
- 20260607-on-policy-rl-crucial-for-generalization — 연장: 이 발현 과정이 성공하려면 on-policy 학습이 필요함