팟캐스트에서 성현님이 반복해서 강조한 점이 있다: “pre-training 측면에서 미국을 따라잡았거나 기술적으로 더 나은 부분도 있을 것”이라는 Luo Fuli의 발언과 함께, DeepSeek-V4는 이 주장을 입증하는 결정적 사례라는 것이다. 실제로 sparse attention의 from-scratch 학습 성공, mHC를 통한 residual connection 개선, Muon optimizer의 확장 적용은 중국 AI가 단순히 따라잡는 수준을 넘어 독자적인 혁신을 주도하고 있음을 보여준다.
그러나 더 중요한 것은 이 발언의 뒷부분에 숨겨진 함의다. “여전히 중국이 post-training에서 미국에 밀리는 점이 있다”는 고백은, 사실상 다음 단계의 경쟁이 post-training에서 이루어질 것임을 예고한다. DeepSeek-V4의 논문이 post-training에 할애한 분량과 디테일(On-Policy Distillation, rubric reward, 1M token RL)은 이 분야에 대한 집중 투자를 암시한다.
이러한 구도는 중국 AI 생태계의 전략적 전환을 의미한다. DeepSeek-V3는 중국 내 많은 프론티어 모델의 base가 되었고, V4는 그 역할을 더 강화할 것이다. 하지만 동시에 DeepSeek의 아키텍처가 점점 더 복잡해지고 있으며, 이 복잡성을 다시 재현하는 것은 다른 중국 팀들에게 새로운 도전이 될 것이다. 결국 pre-training의 기술적 우위를 post-training의 제품 우위로 전환할 수 있는 기업이 글로벌 경쟁에서 살아남을 것이다.
근거
“중국이 아마 pre-training 측면에서 미국을 따라잡았거나 혹은 어쩌면 기술적으로 더 나은 부분도 있을 것이라는 얘기를 했었는데, 그것의 정점을 보여주는 사례가 DeepSeek-V4가 아닐까 싶습니다. 동시에 여전히 중국이 post-training에서 미국에 밀리는 점”
“pre-training에 대해서는 이미 동등한 수준으로 도달했다. 남은 건 이제 post-training에서 동등한 수준으로 도달하는 것”
연결된 생각
- 20260607-deepseek-v4-architecture-overview — DeepSeek-V4의 pre-training 혁신
- 20260607-china-ai-frontier-labs — 중국 프론티어 랩 생태계의 지형
- 20260607-on-policy-distillation — post-training의 핵심 방법론
- 20260606-ai-competition-shifts-to-post-training — 모델 성능 경쟁에서 사업 가치 경쟁으로의 전환
출처
- 📎 클리핑: 20260613-ep95-ko-transcript