대부분의 LLM 사용자는 “모델이 느리다”는 문제를 연산 속도 탓으로 돌리지만, 실제 추론 파이프라인의 병목은 GPU의 연산 능력(FLOPs)이 아니라 HBM 메모리 대역폭에서 발생한다. Dwarkesh와 Reiner Pope의 roofline analysis에 따르면, 작은 배치에서는 모델 전체 파라미터를 HBM에서 읽어오는 시간(t_memory)이 연산 시간보다 훨씬 크며, 이는 GPU가 연산 유닛은 놀고 있으면서 데이터 전송을 기다리는 현상을 의미한다. 특히 긴 컨텍스트를 처리할 때 KV cache 로딩이 추가되면서 memory-bound 현상이 더욱 심화된다. 이는 200K 토큰 임계점을 넘으면 급격히 서비스 비용이 증가하는 근본 원인이다.
근거
“t_compute는 사실 여기 배치에 선형 함수일 테니까 얘가 이렇게 선형으로 그린 거고 그다음에 이 메모리 타임에 total memory 로딩하는 타임은 그냥 한 번 로딩하면 그다음은 계속 꺼내서 쓸 수 있으니까… 메모리를 한 번 올리고 나면 얘는 오래 쓰면 쓸수록 사실 거기에 들어간 비용을 상쇄할 수 있는 거니까 이 표현으로는 amortize한다.”
“KV cache 때문에 다 compute bound가 아닌 memory bound 문제로 전환될 수 있다.”
연결된 생각
- 20260606-llm-inference-roofline-analysis — roofline 분석에서 t_memory의 역할을 개념적으로 정의
- 20260606-moe-sparse-attention-serving-economics — MoE가 memory-bound를 완화하는 메커니즘