대부분의 LLM API가 200K 토큰에서 가격 티어를 나누는 이유는 기술적 한계라기보다는 경제적 최적점 때문이다. Dwarkesh 에피소드에서 밝힌 바에 따르면, 200K를 기점으로 KV cache가 차지하는 메모리 양이 급격히 증가하여 하나의 배치에 태울 수 있는 유저 수가 현저히 줄어든다. 따라서 제공자 입장에서는 이 구간을 별도의 고가 티어로 운영하지 않으면 손실이 발생한다.
근거
원문에서 Reiner Pope은 다음과 같이 설명한다.
“200k가 넘어가면 그걸 처리하기 위해서 유저 숫자를 현저하게 적게 받아야 하는 GPU 클러스터가 필요하다. 거기는 제공자 입장에서 좀 비싸게 받아야 되는 영역이다.”
이는 이미지로도 확인된다: 루프라인 그래프에서 KV cache 로딩 시간이 t_compute를 추월하는 지점이 약 200K 부근이며, 그 이후로는 아무리 계산 속도를 높여도 메모리 대역폭이 전체 처리량을 제한한다. 이 지식을 바탕으로 사용자는 자신의 워크로드가 200K 미만이라면 저렴한 일반 티어를 활용하고, 그 이상이 필요하다면 비용 대비 이점을 신중히 평가해야 한다.
연결된 생각
- 20260606-llm-inference-compute-memory-roofline — KV cache 로딩 시간의 기울기와 compute 시간의 교점
- 20260606-llm-inference-cost-memory-bandwidth — 메모리 대역폭이 비용을 결정하는 근본 원리
출처
- 📎 클리핑: 20260613-ep96-ko-transcript