정의
LLM 서빙 지연시간은 **연산 시간(t_compute)**과 메모리 접근 시간(t_memory) 중 더 큰 값에 의해 결정된다. 이 두 요소의 균형점(batch size, context length 등)이 Latency와 비용을 최적화하는 핵심이며, GPU 하드웨어의 물리적 스펙(FLOPs, HBM 대역폭, 용량)과 모델 아키텍처(sparsity, MoE, KV cache)가 서로 밀접하게 공진한다.
핵심 속성
- t_compute: 활성 파라미터 수 × batch size ÷ GPU FLOPs. attention 계산은 생략 가능(편의상 linear 가정).
- t_memory: (전체 파라미터 로딩 시간 + KV cache 로딩 시간) = (N_total × bytes_per_param + batch × avg_context_length × kv_bytes) ÷ memory bandwidth.
- drain time: HBM 전체 용량을 대역폭으로 나눈 시간. 최신 GPU(GB300) 기준 약 20~30ms → inference cycle의 기준 단위.
- 최적 batch size: t_compute = t_memory가 되는 지점. FLOPs/대역폭 비율(약 300)과 sparsity(전체 파라미터/활성 파라미터 비율)의 곱. 예: sparsity=1/8 → batch ≈ 2400.
- KV cache 지배: 200K context length 이상에서는 KV cache 로딩이 t_memory를 지배하여 memory-bound로 전환. 이 임계점이 가격 티어의 경계.
관계
- vllm-pagedattention — PagedAttention은 KV cache 메모리 단편화 해결 및 배치 효율 향상
- moe-sparsity — MoE 구조의 sparsity가 t_compute를 낮춰 배치 크기 증가를 가능하게 함
- 20260607-200k-context-threshold — 200K 컨텍스트 임계점에서 메모리 바운드 전환
- gpu-memory-hierarchy — HBM → DRAM → Flash의 계층이 캐시 가격과 TTL 결정
인용
“결국은 이게 결국은 균형이 되고 이 throughput을 maximize하는 지점은 computing하는 시간과 메모리하는 시간이 같아지면 그 두 개가 조화롭게 티키타카를 이룰 테니 그 지점으로 batch size를 maximize하면 되겠다.”
출처
- 📎 클리핑: 20260613-ep96-ko-transcript