배치 크기가 작을 때는 메모리에 바운드되어 지연 시간이 거의 일정하게 유지되지만, 배치가 커지면 연산에 바운드되어 지연 시간이 선형으로 증가한다. 이는 GPU가 항상 전체 모델 가중치를 먼저 로딩해야 하기 때문에 생기는 기본 비용(lower bound) 때문이다. 반대로 토큰당 비용은 배치가 작을 때 매우 높고, 배치가 증가하면서 감소하다가 다시 연산 바운드 영역에서 증가하는 U자형 곡선을 그린다.
근거
“메모리를 한 번 올리고 나면 얘는 오래 쓰면 쓸수록 사실 거기에 들어간 비용을 상쇄할 수 있는 거니까 이 표현으로는 amortize한다.”
연결된 생각
- 20260606-inference-roofline-analysis — 배치 최적화의 수학적 기반
- 20260605-moe-sparsity-economic-impact — 스파시티가 배치 크기에 미치는 영향
출처
- 📎 클리핑: 20260613-ep96-ko-transcript