LLM 추론에서 GPU의 연산 능력(FLOPs)은 충분히 빠르지만, HBM 메모리에서 데이터를 가져오는 대역폭이 병목이다. FLOPs 대비 메모리 대역폭 비율이 약 300배 차이 나므로, 작은 배치에서는 메모리에 지연 시간이 결정된다. 큰 배치로 갈수록 계산 시간이 증가하여 교차점에서 최적 효율을 얻는다. 이 최적 배치 크기는 sparsity에 반비례한다. MoE로 sparsity가 높을수록 더 큰 배치를 처리할 수 있어 동시 사용자 수가 늘어난다. 따라서 프론티어 랩들은 배치를 최대화하기 위해 chunked prefill, PagedAttention 같은 기술로 메모리 효율을 높이고 GPU 사용률을 70~80%로 유지한다. 이것이 API 가격이 결정되는 내부 경제학이다. 사용자 입장에서 긴 컨텍스트를 쓸수록 비싸지는 이유도 여기서 설명된다.
근거
“t_compute와 t_memory 중 많이 걸리는 거에 제한이 된다. 배치가 작을 때는 메모리에 bound되고, 배치가 커지면 compute에 bound된다. 최적의 B점을 잘 결정하면 의미가 있다.”
연결된 생각
- 20260607-llm-inference-time-decomposition — wiki 노트의 정의와 연결
- 20260607-cache-ttl-pricing-reverse-engineering — 가격 티어 결정의 근거