Kimi K2의 등장은 단순한 벤치마크 돌파 이상의 의미를 갖는다. 포스트 트레이닝에서 강화 학습 레시피가 기업의 핵심 경쟁력으로 부상하고 있다는 신호다. 프리트레이닝과 달리, 포스트 트레이닝은 기존 데이터를 활용하는 것이 아니라 새로운 데이터를 창조하는 과정이다. 인간 전문가의 모범 답안을 모방하는 SFT(Supervised Fine-Tuning)는 할루시네이션 문제와 일반화의 한계를 드러냈고, On-policy RL은 모델이 스스로 탐색하고 보상을 통해 학습함으로써 인간의 수준을 초월할 가능성을 열었다. 이는 마치 자율주행에서 인간의 운전 기록을 모방하는 것과, 목적지에 도달하는 보상만 주고 스스로 경로를 찾게 하는 것의 차이와 같다. 앞으로 프런티어 기업의 진가는 이 데이터 창조 능력, 즉 좋은 포스트 트레이닝 레시피를 얼마나 빠르게 개량하는가에 의해 결정될 것이다.
근거
“프리트레이닝 같은 경우는 지금까지는 있는 데이터를 잘 쓴다에 가깝다면, 포스트 트레이닝은 데이터를 창조한다는 느낌에 더 가깝거든요. 그러면 이제 그 창조를 얼마나 잘하는가, 이 부분이 노하우가 될 것이고, 그 부분에서 프런티어 기업들의 경쟁력이 굉장히 크게 갈리게 될 거라고 봅니다.”
연결된 생각
- 20260606-post-training-rl-generalization-conditions — On-policy RL이 일반화를 가능하게 하는 메커니즘
- 20260606-sft-limitations — SFT의 한계와 할루시네이션 문제