2025년을 관통하는 가장 중요한 아키텍처적 결정은 “MoE를 쓸 것인가”가 아니라 “어느 정도의 sparsity로 MoE를 구성할 것인가”로 바뀌었다. 이 변화는 단순한 최적화를 넘어, 전체 AI 생태계의 연산 자원 배분 방식을 뒤흔들었다. 중국의 수많은 기업들이 제한된 GPU 환경에서 프런티어급 모델을 쏟아낼 수 있었던 배경에는 DeepSeek이 정립한 MoE 레시피가 있다.
근거
원문에서 김성현은 그래프를 통해 “학습 연산량 10^24 FLOPs 기준으로 dense 대비 MoE의 성능이 7배 이상”이며, “sparsity가 높을수록 compute multiplier가 더 가파르게 증가한다”고 설명한다. 이는 단순한 효율성 개선이 아니라, 규모가 커질수록 MoE의 우위가 더 벌어지는 super-linear scaling 현상이다. GPT-4가 MoE라는 소문이 돌던 시점에는 아직 “좋은 정도”였지만, DeepSeek-V3와 R1이 이 현상을 체계적으로 증명하면서 “쓰지 않을 이유가 사라졌다.”
MoE가 단순히 파라미터를 키우는 기술이 아니라, 희소성(Modularity + Routing)을 통해 모델의 표현력을 폭발적으로 증폭시키는 원리임을 깨달았다. 100B 전체 파라미터 중 10B만 활성화되는 모델조차 프런티어의 향취를 낼 수 있는 것은, 이 스케일링 법칙이 여전히 유효함을 의미한다.
연결된 생각
- 20260606-ai-paradigm-shift-2025-moe-rlvr — MoE의 위상이 paradigm shift의 첫 번째 축
- deepseek-architecture — MoE 레시피의 구체적 구현
- llama-4-limitation — 대조적 사례: MoE를 채택하지 못한 비중국 모델의 부진