Kimi K3 논쟁을 단순히 “적은 GPU로 프론티어에 접근했으니 capex가 줄어든다”로 읽으면 중요한 구분을 놓친다. 효율은 하나가 아니다. 학습에서 적은 step과 token으로 성능에 도달하는 효율과, 완성된 모델을 서빙할 때 token당 원가가 낮아지는 효율은 다르다.
Distillation, optimizer, 데이터 품질은 training cost를 크게 낮출 수 있다. 하지만 완성된 모델의 구조가 무겁다면 inference cost는 그대로일 수 있다. 반대로 sparse MoE 같은 architecture 개선은 active compute를 줄여 inference에도 영향을 줄 수 있지만, 전체 expert weight를 memory에 상주시켜야 하므로 비용이 memory 쪽으로 이동한다.
따라서 Kimi K3의 의미는 “compute가 필요 없어졌다”가 아니라 “어떤 비용이 학습에서 추론으로, 연산에서 메모리로, API에서 on-prem으로 이동하는가”를 묻는 사례다.
연결된 생각
- 20260717-training-efficiency-vs-inference-efficiency — 학습 효율과 추론 효율의 분리.
- 20260717-sparse-moe-memory-demand-shift — sparse MoE가 memory residency demand를 키우는 구조.
- 20260717-kimi-k3 — 이 논쟁의 사례 모델.