정의
LLM 추론(inference)의 최종 레이턴시는 **t_compute(계산 시간)**와 t_memory(메모리 시간) 중 더 큰 값에 의해 결정되며, 이 두 요소는 배치 크기(batch size), 활성 파라미터 수, KV 캐시 크기, HBM 대역폭 및 FLOPs 간의 비율에 의해 정해진다. 이 관계를 그래프로 표현한 것이 루프라인 분석(roofline analysis)이며, LLM 서빙의 경제성과 하드웨어 활용 최적화의 기초가 된다.
핵심 속성
- t_compute: 배치 크기(B) × 활성 파라미터 수(N_active) ÷ FLOPs
- MLP(FFN)와 어텐션 연산이 주를 이룸. MoE 구조에서는 일부 expert만 활성화되므로 N_active ≪ N_total.
- t_memory: (총 파라미터 로딩 시간) + (KV 캐시 로딩 시간)
- 총 파라미터 로딩: N_total ÷ HBM 대역폭 (고정 비용, 배치 크기에 무관)
- KV 캐시 로딩: B × (각 sequence의 KV 캐시 길이) × (토큰당 바이트) ÷ HBM 대역폭
- 경제적 최적 배치: t_compute ≈ t_memory가 되는 배치 지점. 이때 throughput이 최대가 되며, 가격도 효율적으로 정해짐.
- 스파시티(activation sparsity): N_total / N_active 비율. 높을수록 t_compute가 유리해져 더 많은 배치를 동시에 처리 가능.
- drain time: HBM 전체 용량을 한 번 읽어내는 시간으로, 현대 GPU에서 약 20ms. 이 시간을 한 inference cycle의 기준으로 삼음.
관계
- 20260606-llm-inference-cost-memory-bandwidth — 추론 비용의 병목이 메모리 대역폭임을 논증
- 20260606-200k-context-threshold-economic — 200K 컨텍스트 임계점과 메모리 바운드 전환의 경제학
- 20260606-inference-engineering-moat — vLLM, SGLang 등 인퍼런스 엔지니어링의 경쟁력
인용
“t_compute는 배치 곱하기 active parameters의 숫자에 bound되고, t_memory는 total parameters 로딩 시간에 KV cache 로딩 시간을 더한 것에 bound된다. 결국 total time은 이 둘의 max에 bound된다.”
출처
- 📎 클리핑: 20260613-ep96-ko-transcript