정의
MoE(Mixture of Experts)는 전체 파라미터 중 일부만 활성화하여 계산 효율성을 높이면서도 모델 용량을 극대화하는 아키텍처로, 2025년을 기점으로 대부분의 프런티어 모델이 채택한 주류 구조가 되었다. 핵심은 희소성(sparsity)을 통해 연산량 대비 성능 배수(compute multiplier)가 학습 규모에 따라 증가하는 스케일링 법칙을 보인다는 점이다.
핵심 속성
- 희소성(Sparsity): 전체 파라미터 중 실제 토큰 추론에 사용되는 파라미터의 비율. 예: 4분의 1만 사용 또는 50분의 1만 사용.
- 연산 배수(Compute Multiplier): 동일 학습 연산량 대비 dense 모델 대비 MoE 모델의 성능 우위. 학습 연산량이 증가할수록 이 배수가 커지는 드문 현상이 관측됨.
- 모듈화와 라우팅: 수백 개의 expert 모듈 중 토큰별로 일부만 라우팅하여 조합 가능성을 극대화. 각 expert는 직교적이고 조합 가능한 특성을 가짐.
- DeepSeek 아키텍처의 표준화: DeepSeek이 정립한 MoE 레시피는 이후 등장한 대부분의 중국 오픈 모델(Kimi, Mistral 등)이 그대로 채택한 사실상의 표준이 됨.
관계
- 20260603-rl-post-training-paradigm — MoE 아키텍처 위에서 RLVR 포스트트레이닝이 효과적으로 작동함 (연장 관계)
- 20260605-dense-model-scaling — dense 모델과 대비되는 개념으로, 학습 연산량 증가에 따른 성능 배수 차이가 핵심 (대조 관계)
- 20260606-deepseek-v4-architecture-innovation — MoE 아키텍처의 구체적 구현체이자 기준점 (하위개념)
인용
“10의 24승의 연산력을 쓴 모델로 비교했을 때 dense model에 비해서 MoE 모델은 dense model의 7배 정도의 연산력을 부은 것과 비슷한 성능을 낸다… 학습 연산량이 증가할수록 이 배수가 커집니다. 이건 굉장히 드문 현상이거든요.”