프론티어 랩들이 API 가격을 낮춰도 여전히 수익을 낼 수 있는 비결은 단순히 모델 성능뿐 아니라, 배치 크기를 최적화하여 GPU utilization을 70-80%로 끌어올리는 인프라 엔지니어링에 있다. 이 대화에서 Reiner Pope는 roofline analysis를 통해 배치가 작을 때는 memory-bound로 latency가 높고 token당 cost가 비싸며, 배치가 특정 지점(약 2400-3000)에 도달해야 compute-bound로 전환되어 cost가 최소화된다는 점을 보여준다.
근거
“배치가 2400에서 3000 정도가 되면 t_compute와 t_memory가 균형을 이루며, 이 지점에서 latency와 cost가 모두 최적화된다. 이 배치를 유지하기 위해 vLLM, SGLang 등은 chunked prefill, PagedAttention 같은 기술로 다양한 사용자 요청을 하나의 batch에 효율적으로 섞는다.”
이는 경쟁 심화로 API 마진이 얇아지는 상황에서, 고정된 하드웨어 비용을 더 많은 토큰으로 분할 상환(amortize)하는 능력이 곧 수익성임을 의미한다. 사용자가 짧은 프롬프트를 자주 보내는 서비스일수록 배치를 빨리 채울 수 있어 유리하며, 긴 컨텍스트를 주로 사용하는 코드 에이전트 워크로드는 단위 시간당 처리량이 낮아져 가격이 높아질 수밖에 없다.
연결된 생각
- 20260607-modern-llm-inference-infrastructure — 배치 최적점이 어떻게 t_compute와 t_memory의 교차점에서 결정되는지 개념적으로 설명
- 20260607-200k-context-threshold-is-economic-optimum — 200K 컨텍스트 임계점이 단순한 기술적 한계가 아니라 경제적 최적점임을 논증
출처
- 📎 클리핑: 20260613-ep96-ko-transcript