Claude, GPT, Gemini 등이 공개한 토큰당 가격표는 단순한 마케팅 전략이 아니라, 내부 추론 인프라의 경제성을 그대로 반영한 신호다. Dwarkesh 에피소드에서 드러난 통찰은, 가격이 하드웨어 비용(capex + opex)과 서빙 효율(operation batch, utilization)에 의해 결정된다는 점이다. 특히 200K 컨텍스트를 기준으로 가격 티어가 나뉘는 것은, 그 지점을 넘으면 memory-bound로 전환되어 동시 서빙 가능한 사용자 수가 급감하기 때문이다. 또한 캐시 TTL별 가격 차이(HBM cache vs DRAM cache vs disk)는 메모리 계층 구조의 비용 차이를 그대로 드러낸다. 따라서 우리는 API 가격을 통해 프론티어 랩들의 하드웨어 구성(랙 수, GPU 세대, 서빙 프레임워크의 효율성)을 역산할 수 있다. 이는 단순한 호기심을 넘어, AI 서비스의 비용 구조를 이해하고 최적의 프롬프트/컨텍스트 전략을 세우는 실용적 지식이다.
근거
“이 그래프를 그려준 거고요. 그래서 이 논의를 하면서 배치를 몇 개로 하는 게 최선인지 계산을 해보자라는 얘기를 합니다. … IDC 가격이, 하드웨어 가격을 저만큼 투입하고 제가 토큰당 얼마를 생성하는데 … 그 가격을 input token당 100만 토큰당 5불을 받고 … 그 프론티어 랩들의 inference farm의 어떤 경제성, 수율 이런 것들이 개선될 수 있겠다.”
“이분들이 reverse engineering 한 거잖아요, 일종의. 가격 가지고.”
“200k 넘어가면 그걸 처리하기 위해서 유저 숫자를 현저하게 적게 받아야 하는 그런 GPU 클러스터가 있는 거죠. … 거기는 사실 제공자 입장에서는 좀 비싸게 받아야 되는 그런 영역인 거죠.”
연결된 생각
- 20260606-llm-inference-roofline-analysis — 배치와 latency, cost의 관계를 수식으로 설명
- 20260606-inference-bottleneck-memory-bandwidth — memory-bound가 가격 상승으로 이어지는 메커니즘