2025년을 관통한 가장 큰 기술적 변화는 MoE 아키텍처의 완전한 지배력이다. DeepSeek이 증명한 희소성의 힘은 제한된 컴퓨팅 자원으로도 프런티어 수준의 모델을 만들 수 있다는 것을 보여주었다. 이제 모든 주요 중국 AI 기업들이 MoE를 채택했고, Dense 모델은 엣지 디바이스를 제외하면 사라져 가고 있다. 이는 단순한 트렌드가 아니라, ‘작지만 효율적인 모델’이라는 과거의 사고에서 ‘더 크고 희소한 모델’로의 패러다임 전환이다.
근거
김성현은 MoE의 연산 배수(compute multiplier)가 학습 연산량 증가에 따라 더 커진다는 사실이 “쓰지 않으면 이상한 형태의 기술적 발전”이라고 지적했다. 실제로 DeepSeek의 아키텍처는 Kimi, Mistral 등 다른 모델들에 의해 그대로 채택되었으며, 더 이상 새로운 MoE 레시피를 개발할 필요조차 느껴지지 않을 정도로 표준화되었다. 2024년에 드물었던 MoE 모델이 2025년에는 거의 모든 오픈 프런티어 모델의 기본이 되었다.
“MoE 모델을 쓰지 않을 이유가 사라집니다. 이제 이렇게 되면 쓰지 않으면 이상해지는 거죠.”
연결된 생각
- 20260607-moe-scaling-law-sparsity — 개념적 기반: MoE의 스케일링 법칙과 희소성의 관계를 설명한 위키 노트.
- deepseek-architecture — 사례: DeepSeek이 정립한 MoE 아키텍처가 어떻게 업계 표준이 되었는지.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript