정의
LLM 추론의 전체 지연시간은 t_compute(계산 시간)와 t_memory(메모리 로딩 시간) 중 큰 값에 의해 결정되며, 각각 활성 파라미터 수와 전체 파라미터·KV 캐시 크기에 비례한다. 이 두 시간의 균형을 맞추는 배치 크기에서 GPU 활용률이 최대화된다.
핵심 속성
- t_compute 의존성: batch_size × N_active / FLOPs (N_active는 활성화된 파라미터 수, MoE의 경우 일부 expert만 계산)
- t_memory 의존성: (N_total × bytes_per_param + batch × seq_len × bytes_per_kv) / memory_bandwidth
- batch 최적점: t_compute와 t_memory가 교차하는 지점에서 MFU가 최대. 최적 batch_size ≈ 300 × (1/sparsity) (300은 FLOPs/bandwidth 비율 추정치)
- KV cache 영향: seq_len이 길어질수록 memory-bound로 전환, 200K 전후로 임계점 발생
- 하드웨어 한계: GPU HBM 대역폭이 compute 능력보다 약 300배 느리기 때문에, batch가 작으면 memory-bound, 크면 compute-bound
- 레이턴시 하한: weight 로딩 시간이 기본적으로 존재하므로, 작은 요청이라도 일정 시간 이하로 줄일 수 없음
관계
- 20260607-llm-inference-hardware-co-evolution — 모델 아키텍처와 하드웨어의 공진화 관계
- 20260607-inference-batching-economics — 배치 최적화와 가격 티어의 관계
- 20260607-cache-ttl-pricing-reverse-engineering — 캐시 정책과 내부 아키텍처 역설계
인용
“결국은 이게 T니까 T는 뭐냐. latency를 얘기하는 거거든요. 그러니까 얼마만큼 많이 기다려야 되냐. 그래서 여기가 어떤 작은 task를 시작하더라도 이 weight를 다 로딩하는 시간은 기본으로 걸리기 때문에 이게 latency lower bound라고 얘기를 하는 거죠.”