왜 Gemini와 다른 API들은 200K를 기준으로 가격 티어를 다르게 설정할까? 단순히 마케팅 전략이 아니라 물리적인 이유가 있다는 것을 이번 에피소드를 통해 깨달았다. 200K가 넘어가면 KV cache가 차지하는 메모리와 그를 읽는 대역폭이 compute를 압도하여 memory-bound 상태로 전환되며, 같은 GPU 클러스터에서 수용할 수 있는 동시 사용자 수가 급감한다. 이는 단순한 latency 증가를 넘어 경제적 손실로 직결된다.
근거
원문에서는 “context length가 200K를 넘으면 KV cache 때문에 compute가 남아도는 memory-bound 시점이 생긴다”고 설명한다. 실제로 Reiner Pope는 optimal point가 200K 정도라고 추정했으며, 이는 프론티어 랩들의 가격 정책을 통해 역산 가능하다고 말한다. 200K 아래에서는 batch optimization이 잘 작동하지만, 그 이상에서는 유저 수를 현저히 줄여야 하므로 단위 토큰당 비용이 올라갈 수밖에 없다.
“200k 아래에 있는 것들은 다 같은 워크로드에서 처리해도 큰 차질이 안 들 정도로 optimize가 돼 있는데, 200k가 넘어가면 유저 숫자를 현저하게 적게 받아야 하는 GPU 클러스터가 있는 거죠.”
연결된 생각
- 20260605-llm-inference-roofline-analysis — roofline 분석에서 t_memory가 지배하는 영역이 200K 이상
- 20260605-kv-cache-pagedattention — PagedAttention이 없었다면 200K 임계점은 더 낮았을 것
- 20260605-chunked-prefill-vllm — chunked prefill은 long-context를 잘게 쪼개 memory-bound를 완화
출처
- 📎 클리핑: 20260613-ep96-ko-transcript