정의
MoE(Mixture of Experts)는 전체 파라미터 중 일부(Expert)만 활성화하여 추론 및 학습 연산량은 낮게 유지하면서도 대규모 모델의 표현력을 얻는 아키텍처이다. 활성화된 파라미터의 비율을 희소성(sparsity)이라고 하며, 이 값이 작을수록 연산 효율이 극대화된다.
핵심 속성
- 희소성(Sparsity): 전체 파라미터 대비 실제 한 토큰 처리에 사용되는 파라미터 비율. 일반적으로 1/4 ~ 1/50까지 다양함.
- 연산 배수(Compute Multiplier): 동일 학습 연산량(FLOPs)에서 MoE 모델이 Dense 모델보다 몇 배 더 많은 연산을 부은 효과를 내는지 나타내는 지표. 희소성이 높을수록 배수 증가.
- 스케일링 법칙: 학습 연산량이 증가할수록 MoE의 성능 우위(연산 배수)가 더 커진다는 경험적 패턴. Dense 모델과의 성능 격차가 확대됨.
- 라우팅(Routing): 각 토큰을 적절한 Expert에 할당하는 매커니즘. Top-k gating 등이 사용되며, Expert 간 부하 균형이 중요.
관계
- dense-model — 대조: Dense 모델은 모든 파라미터를 활성화하는 반면, MoE는 희소하게 활성화하여 연산 효율을 높임.
- scaling-law — 연장: MoE의 희소성 scaling law는 기존 Dense scaling law의 확장으로, exponent 변화 패턴을 보임.
- deepseek-architecture — 하위개념: DeepSeek이 설계한 MoE 아키텍처(DeepSeekMoE)는 희소성과 라우팅 최적화로 업계 표준이 됨.
- rlvr-post-training — 연장: MoE 모델의 RLVR 학습 안정화가 2025년 주요 과제였음.
인용
“dense model에 비해서 MoE 모델은 dense model의 7배 정도의 연산력을 부은 것과 비슷한 성능을 냅니다. … 학습 연산량이 증가할수록 이 배수가 커집니다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript