HBM 대역폭은 LLM 서빙에서 절대적인 물리적 제약이다. GPU의 FLOPs는 매년 2배씩 증가하지만 HBM 대역폭은 그보다 훨씬 느리게 증가하여 그 비율이 300 정도에서 정체되어 있다. 이로 인해 대부분의 추론 작업은 compute-bound가 아니라 memory-bound가 된다. 특히 긴 컨텍스트(>200K)에서는 KV cache 로딩이 전체 시간의 90% 이상을 차지한다. 이러한 메모리 병목이 모델 아키텍처에 직접적인 영향을 주어, MLA(Multi-query Latent Attention), sparse attention, FP4 양자화 등이 개발된 이유다. 하드웨어가 소프트웨어를, 소프트웨어가 다시 하드웨어를 변화시키는 공진화의 고리다.
근거
Dwarkesh와 Reiner Pope의 대화에서 “t_mem은 항상 t_compute보다 크거나 같으며, 특히 KV cache가 긴 경우 memory-bound가 결정적”이라는 주장이 반복된다. 또한 NVIDIA의 20TB HBM 랙에서도 5T 모델에 5TB, KV cache에 13TB 정도 할당한다는 추정이 나온다. 즉 KV cache가 전체 HBM의 65%를 차지하며, 이는 context length에 따라 비례적으로 증가한다.
“200K 이상에서는 KV cache 비용이 compute cost를 넘어서므로 별도의 가격 티어가 필요하다. GPU 클러스터의 memory-bound 역치가 바로 200K이다.”
연결된 생각
- 20260606-llm-inference-roofline-analysis — memory-bound가 latency 곡선의 하한을 결정하는 원리
- nvidia-gpu-memory-hierarchy — HBM→DRAM→플래시 계층이 캐시 TTL과 가격을 결정하는 구조 (stub)
출처
- 📎 클리핑: 20260613-ep96-ko-transcript