vLLM과 SGLang을 단순히 “LLM 서빙 프레임워크”로 이해하기 쉽지만, 이들의 핵심 경쟁력은 매 20ms마다 출발하는 연산 열차(batch)를 최대한 꽉 채우기 위한 정교한 스케줄링과 메모리 관리에 있다. 이 대화에서 Reiner Pope는 20ms라는 drain time이 GPU의 물리적 특성에서 비롯되며, 이 한 사이클에 최적의 배치(약 2400~3000)를 유지하는 것이 서빙 비용을 결정한다고 설명한다.
근거
“20ms에 한 번씩 연산 열차가 출발하는데, 그 열차에 얼마만큼의 배치를 채워 넣는가가 inference farm의 경제성을 결정한다. vLLM의 PagedAttention은 KV cache를 page 단위로 나누어 메모리 낭비를 막고, chunked prefill은 긴 입력을 잘게 쪼개어 decode 요청과 섞어 태운다.”
이 관점은 왜 오픈소스 서빙 프로젝트들이 각축을 벌이는지를 설명한다. 배치 하나라도 더 빈틈없이 채우는 회사가 동일한 하드웨어로 10~20% 더 많은 토큰을 판매할 수 있기 때문이다. 사용자 입장에서는 응답 속도보다 더 중요한 것이 “서비스 제공자의 배치 채우기 효율”임을 이해하게 된다. 수요가 적은 새벽 시간대나 niche 모델은 배치를 채우지 못해 상대적으로 느리거나 비쌀 수 있다는 역설도 풀린다.
연결된 생각
- 20260607-modern-llm-inference-infrastructure — 배치 최적점 개념과 drain time의 정의
- 20260607-batch-optimization-is-key-to-llm-economics — 배치 최적화가 왜 직접적인 cost 절감으로 이어지는지
출처
- 📎 클리핑: 20260613-ep96-ko-transcript