정의
MoE(Mixture of Experts) 모델의 expert(FFN) 부분에 4-bit 등 저정밀도 양자화를 적용해, 성능 저하를 최소화하면서 모델의 실질 메모리·서빙 비용을 크게 줄이는 경량화 기법. 추론 효율성(= 서비스 효율성)을 높이는 포스트 트레이닝 단계의 테크닉이다.
핵심 속성
- quantization-aware training(QAT): 양자화로 인한 성능 감소를 학습 단계에서 흡수하도록 훈련. 사후 양자화보다 품질 손실이 적다.
- MoE가 양자화에 유리한 이유: dense 모델은 학습량이 늘수록 웨이트에 정보가 조밀하게 들어차 압축이 어려워진다. MoE는 각 expert가 데이터의 일부에만 학습되므로 모듈별 정보 밀도가 낮아 압축 여지가 크다.
- 적용 사례: Kimi K2 — MoE FFN에 INT4 적용, ~1조 파라미터 모델의 실질 메모리를 ~500GB(절반)로 축소. OpenAI gpt-oss — MoE 부분에 MXFP4(4-bit) 적용.
- 효과: 성능은 유지되면서 모델 사이즈·컴퓨팅 효율이 개선 → 8-GPU 단일 노드 수준에서도 적재 가능.
- 추세: 프런티어 모델 전반에서 기본 테크닉으로 자리 잡는 흐름.
관계
- 20260602-kimi-k2 — 사례: INT4 MoE 양자화를 실제 적용한 모델
- 20260602-rl-amplifies-latent-reasoning-in-llm — 같은 맥락: 포스트 트레이닝 레시피가 모델 경쟁력을 가르는 시대
- 20260508-llm-system-patterns-7 — 연관: LLM을 프로덕션 서비스로 만들 때의 효율 패턴
인용
“MoE 같은 경우는 각 모델의 모듈이 모든 데이터에 대해서 학습되는 게 아니고 부분적으로 학습되므로 압축할 수 있는 가능성이 더 높다고 볼 수 있습니다.”