모델 성능(벤치마크 점수)은 점점 Commodity화되고 있지만, 같은 모델을 얼마나 효율적으로 서빙하느냐는 회사의 생존을 가른다. vLLM의 PagedAttention, SGLang의 chunked prefill, 그리고 각 사의 독자적인 KV cache 관리 시스템은 단순한 최적화가 아니라 하드웨어의 물리적 한계를 극복하는 핵심 기술이다. 특히 20ms 연산 열차 모델에서 batch를 2400으로 유지하려면 prefill과 decode를 동시에 섞어 보내는 orchestration이 필수적이다. 이러한 인프라 기술은 공개되지 않으며, API 가격 정책을 통해 역으로 짐작할 수 있을 뿐이다. 즉 API 가격표 자체가 각 회사의 서빙 인프라 능력을 나타내는 지표다.
근거
에피소드에서 반복적으로 강조되는 점: “프론티어 랩들의 진짜 moat는 이 엔지니어링 인프라 능력이다. 어떻게 하드웨어를 잘 이해하고 사용자 워크로드를 잘 분석하여 serving throughput을 늘리느냐.” 또한 Dwarkesh가 Reiner Pope의 강연을 선택한 이유도 “이 내용은 대부분의 사람이 모르는, 실제 경쟁력의 원천”이기 때문이다.
“vLLM과 SGLang이 하는 핵심 목표는 하나다: 한 번의 연산 사이클(20ms)에 최대한 많은 batch를 채워 넣어라. 그걸 위해 KV cache를 page 단위로 쪼개고, prefill을 chunk로 자르고, decode와 prefill을 섞어서 보낸다.”
연결된 생각
- 20260606-batch-size-determines-cost — batch 최적화가 수익성에 직접 연결되는 구체적 메커니즘
- 20260606-hbm-bandwidth-bottleneck — memory-bound 환경에서 인프라 엔지니어링이 얼마나 중요한지
출처
- 📎 클리핑: 20260613-ep96-ko-transcript