정의
Training Efficiency vs Inference Efficiency는 모델 효율을 학습 단계에서 적은 compute로 성능에 도달하는 능력과, 완성된 모델을 서빙할 때 token당 비용을 낮추는 능력으로 분리하는 분석 프레임이다.
둘은 연결될 수 있지만 항상 같은 방향으로 움직이지 않는다. Architecture 개선은 양쪽에 영향을 줄 수 있지만, optimizer 개선이나 distillation은 training step 또는 training token을 줄여도 inference cost를 직접 낮추지 않을 수 있다.
구분
양쪽 모두에 영향을 주는 효율
- Sparse MoE로 token당 active parameter를 줄인다.
- Linear attention 또는 attention 변형으로 long context 비용을 낮춘다.
- Quantization과 kernel optimization으로 runtime footprint를 낮춘다.
주로 training에 영향을 주는 효율
- Optimizer 개선으로 같은 성능에 필요한 step 수를 줄인다.
- 데이터 품질 개선으로 필요한 token 수를 줄인다.
- Distillation으로 frontier model output을 학습해 탐색 비용을 줄인다.
판단 기준
Kimi K3 같은 open-weight 모델의 경우 실제 inference efficiency는 다음으로 확인한다.
- 공개 config의 total expert 수와 active expert 수
- hidden dimension과 attention 구조
- token당 FLOPs와 weight memory footprint
- vLLM, SGLang 등 open serving stack에서 GPU당 token 처리량
- OpenRouter와 third-party provider의 price spread
연결
- 20260717-kimi-k3 — 이 구분이 적용되는 사례.
- 20260717-sparse-moe-memory-demand-shift — architecture efficiency가 memory demand를 키울 수 있는 역설.