대부분의 LLM 제공자가 200K context length를 기준으로 가격 티어를 나누는 이유는 inference 시 memory-bound로 전환되는 임계점이기 때문이다. KV cache 크기가 배치당 처리 가능한 유저 수를 급격히 줄이므로, 이 지점을 넘는 요청은 더 비싼 자원을 소모한다. 이는 단순한 가격 전략이 아니라 하드웨어 물리량(HBM 대역폭 한계)의 반영이다. 따라서 200K 이하의 컨텍스트는 동일한 가격에도 수익성이 있고, 그 이상은 프리미엄을 받아야만 감당할 수 있다.
근거
“KV cache의 길이가 이분들이 추정하건대 optimal point가 200k 정도 되는 것 같다. 200k가 넘어가면 유저 숫자를 현저하게 적게 받아야 하는 GPU 클러스터가 필요하다. 그래서 가격 티어가 나뉘어 있다.”
연결된 생각
- 20260607-batch-filling-economics — 배치 크기와 유저당 비용의 관계가 이 임계점에서 급변함.
- 20260607-llm-inference-roofline-analysis — memory-bound와 compute-bound 전환점의 수학적 정의.
출처
- 📎 클리핑: 20260613-ep96-ko-transcript