API의 200K 컨텍스트 가격 절벽에는 물리적 이유가 있다. context가 길어지면 연산(compute)과 KV cache가 균형을 이루는 지점을 넘어 computation이 남아돌고 전체 속도가 memory-bound로 떨어진다. 그 optimal point가 대략 200K다. 200K 아래는 같은 워크로드로 효율적으로 처리되지만, 그 위는 유저를 현저히 적게 받아야 하는 GPU 클러스터가 필요해 비싸게 받아야 한다.
근거
200k가 넘어가면 그걸 처리하기 위해서 유저 숫자를 현저하게 적게 받아야 하는 그런 GPU 클러스터가 있는 거죠. (…) 제공자 입장에서는 좀 비싸게 받아야 되는 그런 영역인 거죠.
경쟁 상황 때문에 프론티어 랩은 가격을 비용 근처에서 책정한다. 그래서 그들의 API 가격은 의도치 않게 내부 token economics를 노출한다. 코딩 워크로드가 long-context 영역에 배치되는 구조도 가격에 드러난다. 더 나아가 컨퍼런스에서 발표하는 “초당 처리 토큰 수”를 역산하면 데이터센터 규모(랙 약 1,000대)까지 추정할 수 있다. 가격은 단순한 숫자가 아니라 인프라 구조의 지문이다.
연결된 생각
- 20260603-llm-inference-economics-batching — 추론 비용 구조의 기초
- 20260603-compute-cycle-is-beginning-not-bubble — 인프라 수요와 규모