직관적으로는 모델을 학습하면 할수록 똑똑해지니 압축은 더 어려워질 것 같다. 실제로 dense 모델은 그렇다 — 학습량이 늘수록 웨이트에 정보가 빽빽하게 차서 양자화가 어려워진다. 그런데 MoE는 정반대의 여지를 연다. 각 expert가 전체 데이터가 아니라 일부에만 학습되기 때문에, 모듈별 정보 밀도가 낮고 따라서 더 공격적으로 압축할 수 있다. 1조 파라미터 모델이 INT4 양자화로 실질 500GB까지 줄어 8-GPU 한 대에 들어가는 것이 이 구조 덕분이다.
근거
“모델의 웨이트에 정보가 더 많이 들어가는 거죠. 학습을 많이 할수록. 그런데 MoE 같은 경우는 각 모델의 모듈이 모든 데이터에 대해서 학습되는 게 아니고 부분적으로 학습되므로 압축할 수 있는 가능성이 더 높다고 볼 수 있습니다.”
Kimi K2와 gpt-oss가 공통적으로 MoE FFN 부분을 4-bit로 양자화한 것은 우연이 아니다. 아키텍처의 희소성(sparsity)이 곧 압축 가능성으로 직결되는, 구조가 만들어내는 효율이다. “성능은 유지되는데 계속 작아지고 컴퓨팅 효율은 높아진다”는 흐름의 기술적 뿌리다.
연결된 생각
- 20260602-moe-quantization-model-compression — 이 현상의 구조적 정의
- 20260602-kimi-k2 — INT4 MoE 양자화를 실증한 모델
- 20260602-post-training-recipe-is-the-new-frontier-moat — 경량화도 포스트 트레이닝 레시피의 일부