Roofline analysis는 LLM 서빙의 비용 구조를 단순하지만 강력하게 설명한다. t_compute와 t_mem의 교차점을 찾는 과정은 마치 생산 공장에서 병목 공정을 찾는 것과 같다. 배치가 너무 작으면 HBM에서 모델 가중치를 꺼내는 고정 비용이 각 토큰에 크게 붙어서 토큰당 비용이 폭등한다. 반대로 배치가 너무 크면 KV cache 로딩이 병목이 되어 지연 시간이 급증한다. 이 교차점이 바로 ‘황금 배치’이며, 현대 GPU(GB300)에서 약 2400이라는 숫자가 등장한 것은 단순한 추정이 아니라 FLOPs/대역폭 비율이라는 하드웨어 불변량과 MoE sparsity가 만든 결과다.
근거
Dwarkesh 에피소드에서 Reiner Pope가 칠판에 그린 t_compute와 t_mem 그래프는 배치에 따른 latency 곡선이 L자형이 아니라 V자형 교차점을 가진다는 것을 보여준다. 특히 “메모리 로딩 비용은 배치에 관계없이 한 번만 발생하므로 배치가 클수록 amortize(분할 상각)된다”는 직관이 핵심이다. 실제 OpenAI/Anthropic의 가격표(특히 200K 임계점)는 이 roofline 분석을 reverse engineering하여 정해졌다.
“t_compute와 t_mem이 같아지는 지점에서 throughput이 최대가 된다. 그 지점의 배치 = FLOPs/대역폭 × sparsity ≈ 300 × 8 = 2400.”
연결된 생각
- 20260606-llm-inference-roofline-analysis — 위키 노트: roofline 분석의 공식적 정의와 속성
- 현대 클라우드 비용 구조와 LLM 서빙의 유사성 — GPU utilization 극대화가 전기세/감가상각을 분산시키는 원리
출처
- 📎 클리핑: 20260613-ep96-ko-transcript