많은 사람들이 20만 토큰 컨텍스트 제한을 GPU 메모리 용량의 물리적 한계로 이해하지만, 실제로는 compute-bound와 memory-bound의 전환점에 따른 경제적 최적점에 가깝다. 이 대화에서 설명된 roofline 분석에 따르면, 200K 부근까지는 동일한 배치로 처리해도 compute 낭비가 크지 않지만, 그 이상에서는 KV cache 로딩 시간이 급증하여 batch를 크게 줄여야 하며, 이는 유저당 처리 비용을 급격히 상승시킨다.
근거
” KV cache의 길이가 200K를 넘어서면 그래프에서 보듯 computation이 남아도는 반면 메모리 access가 bottleneck이 되어 전반적인 속도가 memory-bound로 떨어진다. 이 optimal point가 200k 정도라는 추정이 가능하며, 그래서 API 가격이 200K를 기준으로 티어가 나뉜다.”
이 인사이트는 프론티어 랩들의 가격 정책이 단순한 마케팅이 아니라 내부 추론 경제성을 반영한 결과임을 시사한다. 사용자가 200K 이상의 컨텍스트를 사용할 때는 사실상 더 많은 GPU 리소스를 소모하므로, 서비스 제공자는 자연스럽게 더 높은 가격을 책정할 수밖에 없다. 역으로, 사용자는 “장문 컨텍스트는 왜 비싼가”라는 질문에 대해 이 구조적 이해를 바탕으로 전략적 선택을 할 수 있다 — 중요하지 않은 긴 문서는 요약해서 넣거나, 캐시 전략을 활용하는 등.
연결된 생각
- 20260607-modern-llm-inference-infrastructure — 컨텍스트 길이가 어떻게 t_memory에 영향을 주는지 수식으로 설명
- 20260607-cache-hierarchy-and-ttl-economics — 캐시 TTL과 계층별 비용 차이가 inference 경제성에 미치는 영향
출처
- 📎 클리핑: 20260613-ep96-ko-transcript