Gemini, ChatGPT, Claude 등 모든 프론티어 LLM이 200K 전후로 가격 티어를 나누는 이유는 단순한 정책이 아니라 하드웨어 물리학의 결과다. roofline 분석에 따르면 context length가 증가할수록 KV cache 로딩 시간이 t_memory를 지배하게 되고, compute 자원은 남아도는 memory-bound 상태로 빠진다.
이 임계점은 GPU의 HBM 대역폭과 용량, 그리고 KV cache의 bytes-per-token에 의해 결정된다. 최신 GB300 NVL72 랙에서도 context length가 200K를 넘어서면 동시 서빙 가능한 유저 수가 급감하고, 그 결과 제공자 입장에서는 극소수 사용자에게 비싼 값을 받거나 batch를 희생해야 한다. 이것이 200K 이상에 프리미엄 가격이 붙는 진짜 이유다.
agentic 워크로드(Claude Code, Codex)의 확산으로 context length가 수백 K에 이르는 경우가 일반화되면서, 이 임계점을 넘어서는 인프라 최적화(vLLM의 chunked prefill, flash attention, MLA 등)가 더욱 중요해지고 있다.
근거
“long-context가 됐을 때 사실 이 그래프에서 얘기하는 거를 심하게 요약해 보면 compute와 KV cache가 균형을 이루는 그런 지점이 있잖아요. 근데 그 지점을 넘어서고 나면 사실 이 그래프에서 보이죠. computation이 남아도는 시점이 되는 거죠. … optimal point가 200k 정도 되는 것 같다.”
연결된 생각
- 20260606-llm-serving-roofline-analysis — roofline 분석의 t_compute/t_memory 균형 개념
- vllm-chunked-prefill — 긴 context를 여러 조각으로 나눠 배치 효율 유지하는 기법
- agentic-workload-inference-explosion — agentic workload가 context length를 폭발시키는 현상
출처
- 📎 클리핑: 20260613-ep96-ko-transcript