프론티어 모델들의 API 가격표는 단순한 마케팅이나 경쟁 전략이 아니다. input/output 토큰의 가격 차이, 컨텍스트 길이에 따른 티어 구분, 캐시 TTL별 할인율 — 이 모든 것은 NVIDIA GPU의 HBM 대역폭이라는 물리적 한계에서 파생된 역설계 가능한 방정식의 해에 가깝다.
Roofline 분석이 보여주는 핵심은 단순하다. LLM 서빙의 모든 지연 시간과 비용은 결국 t_compute와 t_memory 중 더 큰 쪽에 의해 결정된다는 것. 그런데 문제는 두 변수의 batch size에 대한 기울기가 완전히 다르다는 점이다. t_compute는 선형으로 증가하는 반면, t_memory는 batch가 작을 때는 전체 파라미터를 로딩하는 고정 비용이 지배적이다. 이 두 곡선이 교차하는 지점이 바로 최적 batch size며, 이는 하드웨어의 FLOPs/대역폭 비율(약 300)에 sparsity(전체 파라미터 대비 활성 파라미터 비율)를 곱해 계산 가능하다.
근거
“메모리 시간에서 attention 부분 싹 떼내버리고 그냥 이것만 가져온 거예요. compute는 이해를 했고, 메모리는 total memory를 loading하는 그런 시간, 그다음에 여기는 이제 context를 loading하는 데 걸리는 시간… 이것들을 더한 것을 메모리 대역폭으로 나눈 거죠.”
DeepSeek V3 기준으로 sparsity가 1/8일 때 최적 batch는 2400명. 이 숫자는 단순한 기술적 호기심이 아니라, “한 사이클에 몇 명을 태울 수 있느냐”가 곧 “단위 시간당 수익성”을 결정짓는 핵심 지표임을 의미한다. 긴 컨텍스트(200K 이상)에서 KV cache가 t_memory를 폭발적으로 증가시키면, 동일 GPU 랙이 수용할 수 있는 유저 수가 급감하고 그만큼 토큰당 가격이 올라가야만 경제성이 맞는 구조다.
연결된 생각
- 20260606-inference-roofline-analysis — 하드웨어 한계를 수식으로 모델링하는 개념적 기반
- 20260606-vllm-and-sglang-as-orchestration-layers — 이러한 물리적 제약을 소프트웨어로 우회하는 엔지니어링의 사례
- 20260606-gpu-rack-as-one-computer — NVL72의 등장이 어떻게 이 경제 방정식을 근본적으로 바꾸는지
출처
- 📎 클리핑: 20260613-ep96-ko-transcript