모델 경쟁의 무게중심이 프리트레이닝에서 포스트 트레이닝으로 옮겨갔다. Kimi K2가 9월 instruct → 11월 thinking으로 두 달 만에 진화한 것이 그 증거다. 프리트레이닝부터 다시 돌리면 주기가 길지만, RL 레시피만 개량해 적용하면 출시 주기가 극적으로 짧아진다. 흥미로운 점은 이 레시피들이 테크 리포트로 공개조차 되지 않는다는 것 — 즉 노하우 자체가 비공개 경쟁 자산이 되었다.

근거

프리트레이닝은 “있는 데이터를 잘 쓰는” 일에 가깝지만, 포스트 트레이닝은 “데이터를 창조하는” 일에 가깝다. 그래서 창조를 얼마나 잘하느냐가 곧 차별화가 된다.

“얼마나 좋은 레시피를 갖고 있는가가 아마 프런티어 기업들의 경쟁력이 될 겁니다. 프리트레이닝 같은 경우는 지금까지는 있는 데이터를 잘 쓴다에 가깝다면, 포스트 트레이닝은 데이터를 창조한다는 느낌에 더 가깝거든요.”

전체 compute의 10% 미만으로 프리트레이닝에 필적하는 품질 향상이 가능하다는 점이 이 전환을 더 가속한다. 적은 투입으로 큰 차이를 만드는 영역일수록, 그 방법론은 더 강력한 해자가 된다.

연결된 생각

출처

클리핑 · youtu.be