Sparse MoE는 토큰마다 일부 expert만 계산하므로 compute efficiency를 만든다. 하지만 모델 전체 expert가 언제든 호출될 수 있다면 weight는 memory 어딘가에 상주해야 한다. 비용이 사라지는 것이 아니라 compute에서 memory로 이동하는 셈이다.
대형 상업 serving에서는 batch가 커질수록 사용자들의 expert 조합이 다양해진다. 이 경우 자주 쓰는 expert와 안 쓰는 expert를 구분하기 어렵고, 결국 모든 expert가 뜨거워져 full HBM residency가 필요해질 수 있다. 반면 on-prem의 좁은 domain workload에서는 특정 expert만 반복 호출될 수 있어 DRAM offloading이 성립할 여지가 있다.
그래서 sparse MoE의 메모리 효과는 단순한 HBM 감소가 아니다. 대형 serving에서는 HBM 수요가 유지되고, 작고 느려도 되는 compliance workload에서는 RDIMM 기반 신규 수요가 생길 수 있다.
연결된 생각
- 20260717-sparse-moe-memory-demand-shift — sparse MoE와 memory residency demand의 개념.
- 20260717-open-weight-compliance-demand — on-prem 수요가 새로 생기는 조건.
- 20260603-llm-inference-roofline-analysis — inference cost를 memory와 compute로 나눠 보는 분석.