대부분의 LLM 제공자가 200K context length를 기준으로 가격 티어를 나누는 이유는 inference 시 memory-bound로 전환되는 임계점이기 때문이다. KV cache 크기가 배치당 처리 가능한 유저 수를 급격히 줄이므로, 이 지점을 넘는 요청은 더 비싼 자원을 소모한다. 이는 단순한 가격 전략이 아니라 하드웨어 물리량(HBM 대역폭 한계)의 반영이다. 따라서 200K 이하의 컨텍스트는 동일한 가격에도 수익성이 있고, 그 이상은 프리미엄을 받아야만 감당할 수 있다.

근거

“KV cache의 길이가 이분들이 추정하건대 optimal point가 200k 정도 되는 것 같다. 200k가 넘어가면 유저 숫자를 현저하게 적게 받아야 하는 GPU 클러스터가 필요하다. 그래서 가격 티어가 나뉘어 있다.”

연결된 생각

출처

클리핑 · youtube.com