MoE(Mixture of Experts)를 “수학은 이 expert, 과학은 저 expert”라고 이해하는 것은 직관적이지만 틀렸다. 매 토큰마다 다른 expert 라우팅을 타고, 수백 개 모듈 중 일부(top-k)만 활성화된다. expert는 도메인 전문가가 아니라 희소하게 호출되는 직교적 모듈이다.
근거
핵심 개념은 sparsity(희소성)다. 잠재 모듈이 수백 개 있어도 매번 쓰는 것은 일부뿐이라 연산량은 고정되어 있고, 전체 파라미터는 매우 크다. 결과적으로 실제 파라미터가 증폭되는 효과 — 적은 연산으로 큰 모델의 효과를 낸다.
모듈화되어 있고 그중 각각의 모듈 중 일부만 쓴다. (…) 전체 시스템의 측면에서는 굉장히 큰 모델의 효과를 낸다.
DeepSeek이 이 모듈을 더 잘게 쪼개 조합 가능성을 열었고, 2025년 거의 모든 프론티어 모델이 MoE로 수렴했다. “좋은 방향”을 넘어 “너무 좋은 것 같은데?”로 평가가 바뀐 것이 2025년 모델 변화의 1순위였다.
연결된 생각
- 20260603-rl-teaches-composition-not-atomic-skill — 모듈 조합이라는 공통 모티프
- 20260603-rlhf-makes-chatbots-rlvr-makes-agents — 2025 모델 변화의 다른 축