Reiner Pope가 칠판에 그린 ‘drain time’ 개념은 GPU 서빙의 물리적 한계를 명확히 보여준다. HBM 전체 용량(예: GB300 기준 288GB)을 대역폭(20TB/s)으로 나누면 약 15ms가 나오고, 실제 시스템에서는 20~30ms가 inference cycle의 주기가 된다. 이 시간 동안 GPU는 HBM에서 모든 모델 가중치와 KV cache를 읽고 연산을 완료해야 한다. 따라서 20ms는 하나의 ‘연산 열차’가 승강장을 출발하여 도착하는 간격이며, 이 열차에 얼마나 많은 배치(유저)를 태울지가 서빙 수익성을 결정한다.
근거
“HBM 용량을 대역폭으로 나누면 drain time이 나오는데, 그게 20ms 정도다.”
이 20ms는 단순한 latency가 아니라 경제적 단위다. vLLM, SGLang 같은 inference engine의 핵심 목표는 이 20ms마다 batch를 최대한 채우는 것이다. chunked prefill, PagedAttention, continuous batching 등 모든 최적화 기법은 결국 이 한 사이클에 더 많은 토큰을 처리하기 위해 존재한다. 캐시 TTL(5분, 1시간)이나 가격 티어(200K 기준)도 이 시간 단위의 연장선에서 이해할 수 있다. Claude Code 같은 agentic workload가 긴 context와 reasoning token을 요구할수록 하나의 20ms 사이클에 태울 수 있는 유저 수는 줄어들고, 이는 곧 가격 상승으로 이어진다.
연결된 생각
- 20260603-llm-inference-roofline-analysis — drain time과 roofline 분석의 관계
- 20260603-batch-size-determines-compute-vs-memory-bound — batch size 결정이 이 cycle의 경제성에 미치는 영향
출처
- 📎 클리핑: 20260613-ep96-ko-transcript