Mixture-of-Experts(MoE)와 Sparse Attention은 단순히 모델의 성능을 높이거나 파라미터 효율을 개선하기 위한 기술로 알려져 있지만, 실제로는 추론 서빙의 경제학을 근본적으로 바꾸는 장치다. Dwarkesh의 분석에 따르면, 최적 배치 크기는 (FLOPs / memory_bandwidth) * sparsity로 결정된다. 여기서 sparsity는 전체 파라미터 중 활성화되는 비율을 의미하며, MoE는 이 sparsity를 극적으로 낮춘다. 즉, 같은 하드웨어에서 MoE를 쓰면 더 많은 사용자를 동시에 서빙할 수 있고, 결과적으로 토큰당 비용이 하락한다. DeepSeek V4가 384개 expert 중 6개만 활성화하는 극단적 sparsity를 달성한 것은, 단순한 모델 혁신이 아니라 서빙 인프라의 경제성에 최적화된 설계다. 이는 앞으로 모델 아키텍처와 하드웨어가 공진화하는 방향을 예고한다.
근거
“sparsity를 높이면 배치를 높게 쓸 수 있다. 배치를 높게 쓸 수 있다는 얘기는 뭐냐. 한 사이클당 서빙할 수 있는 유저의 숫자를 훨씬 늘릴 수 있다는 얘기다.”
“이게 결국은 sparsity가 되는 거고 왼쪽에 있는 항이 이제 FLOPs / 메모리 대역폭인데… B 계산이 그냥 되는 거죠. B는 저 300이라는 숫자와 sparsity를 곱한 거.”
연결된 생각
- 20260606-llm-inference-roofline-analysis — sparsity가 최적 배치에 미치는 영향
- 20260606-inference-bottleneck-memory-bandwidth — MoE가 memory-bound를 완화하는 구체적 예