토큰당 비용을 결정하는 가장 중요한 요소는 GPU의 FLOPs가 아니라 HBM 메모리 대역폭이다. Dwarkesh와 Reiner Pope의 roofline 분석에 따르면, 배치 크기가 작은 구간에서는 t_memory가 t_compute를 압도하므로 아무리 계산 속도가 빨라도 메모리에서 weight를 불러오는 시간이 전체 레이턴시를 결정한다. 이는 “왜 context length가 200K를 넘으면 가격이 급등하는가”에 대한 직접적인 답이다.
근거
원문에서 이들은 t_compute와 t_memory를 비교하며 다음과 같이 설명한다.
“배치가 작을 때는 메모리에 bound되고, 배치가 커지면 compute에 bound된다. 그런데 실질적인 서빙 환경에서는 KV cache로 인해 sequence length가 길어질수록 memory-bound 상태가 유지된다.”
실제로 최신 GPU의 FLOPs 대 HBM 대역폭 비율은 약 300:1로 추정된다. 즉, 메모리에서 1바이트를 읽는 동안 300번의 연산을 수행할 수 있다는 뜻인데, 문제는 weight와 KV cache를 읽어오는 작업이 연산보다 훨씬 느리게 진행된다는 점이다. vLLM의 PagedAttention이나 chunked prefill 같은 기법의 핵심 동기도 이 메모리 대역폭 병목을 극복하기 위함이다.
연결된 생각
- 20260606-llm-inference-compute-memory-roofline — t_compute와 t_memory의 관계를 수식으로 정리
- 20260606-200k-context-threshold-economic — 메모리 바운드 전환점이 가격 티어를 만든다
출처
- 📎 클리핑: 20260613-ep96-ko-transcript