프런티어 모델에 알지 못하면 절대 따라잡을 수 없는 비밀 레시피가 있다는 믿음은 대체로 틀렸다. GPT-3.5부터 지켜보면 MoE를 포함한 거의 모든 혁신이 점진적으로 개발하다 보면 나타날 수 있는 것들이었다. 그나마 비밀 레시피에 가장 가까웠던 것은 RLVR인데, 그마저 DeepSeek이 공개해버렸다.
근거
더 좋은 데이터를 만들고 더 잘 스케일링을 하고 하는 이런 문제들에 훨씬 가깝다는 생각을 하고요. 이 기본에 충실한 것이 지금 굉장히 관건이라는 생각을 합니다.
지금 모델 성능을 지배하는 것은 창조적 방법이 아니라 기본 — 좋은 데이터, 안정적 인프라, 많은 연산이다. 그리고 이 기본은 제품을 대하는 태도와 밀접하다. AI 조직은 연구적 혁신에 경도되기 쉽지만, 지금 필요한 것은 많은 반복과 시행착오로 조금씩 갈고닦는 제품 감각이다. RL이라는 방법이 이미 발견된 이상, 그 방법 안에서 연마하는 것이 결정적 차이를 만든다. 후발주자에게는 기회의 창이지만, 기본기 경험을 쌓아둔 프런티어 기업이 시간적으로 유리하다.
연결된 생각
- 20260603-environment-scaling-is-the-agent-rl-bottleneck — 같은 에피소드, 다음 병목
- 20260522-no-data-no-ai-native-company — 데이터가 곧 기본기