MoE(Mixture of Experts) 모델의 스파시티는 전체 파라미터 수 대비 활성 파라미터 수의 비율이다. 이 비율이 낮을수록(예: 1/8) 같은 하드웨어에서 훨씬 더 큰 배치를 처리할 수 있어 단위 시간당 더 많은 사용자를 서빙할 수 있다. 최적 배치 크기는 FLOPs/메모리 대역폭 상수(약 300)에 스파시티의 역수를 곱한 값이므로, 스파시티가 1/8이면 최적 배치가 2400까지 증가한다. 이는 GPU 자원이 고정된 상태에서 수익성을 크게 좌우하는 요소다.
근거
“sparsity를 높이면 배치를 높게 쓸 수 있다. 배치를 높게 쓸 수 있다는 얘기는 뭐냐. 한 사이클당 서빙할 수 있는 유저의 숫자를 훨씬 늘릴 수 있다는. 그 얘기는 뭐냐? 그럼 어차피 GPU를 사서 NVIDIA한테 준 돈과 단위 시간당 들어가는 전기세는 고정이니 결국은 그냥 프론티어 랩 입장에서는 얘가 단위 시간당 더 많은 유저를 서빙하는 게 무조건 이익이라는 얘기다.”
연결된 생각
- 20260606-inference-roofline-analysis — 최적 배치 도출 수식
- 20260605-deepseek-v4-sparse-attention — 최신 MoE 구현 사례
출처
- 📎 클리핑: 20260613-ep96-ko-transcript