각 AI 회사가 공개한 API 가격표와 캐시 정책을 분석하면, 내부적으로 inference farm이 어떻게 구성되어 있는지 역추적할 수 있다. 예를 들어 200K 컨텍스트를 기준으로 가격이 달라지는 것은, 그 길이에서 메모리 대역폭 병목이 급격히 증가하기 때문이다. 또한 캐시 TTL이 5분, 1시간 등으로 나뉘는 것은 HBM, DRAM, SSD 등 메모리 계층의 비용 구조와 일치한다. Dwarkesh와 Reiner Pope는 이러한 공개 정보를 바탕으로 FLOPs/bandwidth 비율, sparsity, 배치 크기, 랙 수 등을 추정할 수 있다고 주장한다. 이는 경쟁사들이 의도치 않게 내부 아키텍처 정보를 누설하는 셈이며, 따라서 inference 인프라는 단순한 운영 비용이 아니라 전략적 무기이자 정보원이다.
근거
“API 가격으로 내세우는 것들을 보면 그들이 내부적으로 가지고 있는 token economics가 어떤 식으로 구성되어 있다는 것을 보여준다. 랙 1대가 전체 토큰 처리에서 약 1,000분의 1을 담당한다는 추정도 해볼 수 있다.”
연결된 생각
- 20260607-inference-batching-economics — 배치 최적화가 가격에 미치는 영향
- 20260607-llm-inference-hardware-co-evolution — 하드웨어 발전이 가격 구조를 변화시키는 메커니즘