2025년을 관통한 가장 큰 기술적 결정은 Mixture of Experts(MoE) 아키텍처의 보편화였다. 단순히 “MoE를 쓰면 좋다”는 수준을 넘어, MoE가 아닌 모델은 프런티어 경쟁에서 도태되었다고 해도 과언이 아니다.
핵심은 sparsity가 만들어내는 compute multiplier의 scaling law에 있다. clipping에 등장한 그래프는 결정적이다: 동일한 학습 연산량에서 MoE 모델은 dense 모델 대비 7배 이상의 성능을 내며, 학습 연산량이 증가할수록 그 배수는 더 커진다. 이는 dense 모델의 scaling law와는 다른 궤적이다. MoE를 쓰지 않을 이유가 사라진 것이다.
물론 추론 시의 메모리 대역폭이나 실제 FLOPs 효율은 이상적인 그래프와 차이가 있을 수 있다. 그러나 순수한 학습 연산량 관점에서조차 이 같은 패턴이 나타난다는 사실은 아키텍처 선택의 판도를 완전히 바꿨다. DeepSeek이 정립한 MoE 레시피는 이제 Llama가 이전 세대 아키텍처였던 것처럼 새로운 표준이 되었다.
근거
“dense model에 비해서 MoE 모델은 dense model의 7배 정도의 연산력을 부은 것과 비슷한 성능을 낸다는 겁니다.” “학습 연산량이 증가할수록 이 배수가 커집니다. 이건 굉장히 드문 현상이거든요.” “2024년까지만 해도 MoE 모델은 드물었는데 지금 2025년에 나오는 모델들은 거의 대부분 MoE 모델입니다.”
연결된 생각
- 20260606-moe-and-rlvr-paradigm-shift-2025 — MoE가 패러다임 전환의 한 축을 이룬 개념적 배경
- 20260606-rlvr-enables-agent-learning — MoE와 RLVR의 결합이 2025년을 주도
출처
- 📎 클리핑: 20260613-ep98-ko-transcript