LLM 서빙의 가장 중요한 최적화 목표는 GPU utilization 극대화다. 20ms 단위로 출발하는 연산 열차(drain time)에 가능한 많은 유저의 토큰을 태우는 것이 모든 경제성을 결정한다. vLLM, SGLang 같은 inference engine은 PagedAttention, chunked prefill, 연속 배치(continuous batching)를 통해 이 게임에서 승리하기 위해 경쟁한다. 결국 서비스 비용은 이 열차에 얼마나 많은 승객을 꽉 채우느냐에 달려 있다.
근거
“inference를 할 때 한 번의 연산 사이클이 약 20밀리세컨드 정도 된다. HBM 메모리 용량을 대역폭으로 나눈 값이 drain time이며, 이 시간 안에 모델 weight와 배치 데이터를 모두 로딩해야 한다. 배치를 꽉 채우지 못하면 GPU가 놀게 되어 경제성이 무너진다.”
연결된 생각
- 20260607-llm-inference-roofline-analysis — 배치 최적점의 수학적 배경과 latency bound.
- 20260607-200k-context-threshold — 긴 컨텍스트가 배치 채우기를 어떻게 방해하는지.
출처
- 📎 클리핑: 20260613-ep96-ko-transcript