Dwarkesh와 Reiner Pope의 roofline 분석에서 가장 인상 깊었던 점은 단순한 수식 하나가 LLM 서빙의 경제학 전체를 설명한다는 것이다. 배치가 작으면 항상 memory-bound(모델 파라미터를 HBM에서 읽어오는 시간이 지배적)이고, 배치가 커지면 compute-bound(연산 자체가 병목)가 된다. 이 두 영역의 경계에서 최적의 throughput이 결정된다.
근거
“batch size가 작을 때는 메모리에 bound되고, batch가 커지면 compute에 bound된다.”
이 직관은 실제 GPU 서빙의 가격 정책을 설명한다. 짧은 컨텍스트(예: 간단한 질문)를 많이 처리할수록 유저당 비용이 급감하는 이유는, batch size를 키워 compute-bound 영역에 진입할 수 있기 때문이다. 반대로 긴 컨텍스트(200K 이상)는 KV cache 부담 때문에 memory-bound를 벗어날 수 없어 비싼 가격 티어가 형성된다. 결국 특정 하드웨어에서 sparsity(예: MoE)를 높이면 batch를 더 크게 가져갈 수 있어 unit cost가 낮아진다. DeepSeek V3의 sparsity 1/8 → optimal batch = 2400이라는 추정이 이 논리를 뒷받침한다.
연결된 생각
- 20260603-llm-inference-roofline-analysis — roofline 분석의 핵심 변수 정의
- 20260603-20ms-train-cycle-as-economic-unit — 20ms cycle과 batch filling의 관계
출처
- 📎 클리핑: 20260613-ep96-ko-transcript