Claude Code, Codex 등 agentic 워크로드에서 reasoning token과 긴 context가 폭발하면서 inference 비용은 더 이상 모델 크기(parameter count)로만 설명되지 않는다. 실제 지배 방정식은 t = max(t_compute, t_memory)이며, 메모리 시간이 전체 비용의 기저를 형성한다.
모델 weight를 HBM에서 끌어오는 고정 비용(latency lower bound)이 존재하고, 여기에 KV cache 로딩 시간이 배치에 따라 더해진다. 이 두 항의 합이 메모리 시간이며, compute 시간은 활성 파라미터에만 비례한다. 흥미로운 점은 이 두 시간이 같아지는 batch size에서 latency와 cost가 동시에 최적화된다는 것 — 이 지점이 곧 최적 가격의 물리적 근거다.
API 가격표의 200K 컨텍스트 임계점, input vs output token 가격 차이, 캐시 TTL에 따른 가격 차이는 모두 이 roofline 분석의 응용이다. 즉 프론티어 랩들은 단순히 모델 성능을 파는 것이 아니라, 이 하드웨어-알고리즘 공진을 극한까지 최적화한 인프라를 판매하고 있는 셈이다.
근거
“여기서 계산을 해보니 이렇게 되는 거죠. 어떻게? 이 토큰 가격은, 이게 가격이죠. 토큰당 cost. 토큰당 cost는 배치가 낮으면 되게 비싸고 배치가 어느 정도가 되면 이 compute bound에 이제 얘 때문에 더 많아지는 거죠.”
연결된 생각
- 20260607-200k-context-threshold — 200K 이상에서 메모리 바운드로 전환되는 임계점이 가격 티어의 이유
- 20260606-llm-serving-roofline-analysis — roofline 분석의 공식적 정의와 하드웨어 파라미터
- gpu-drain-time-20ms — 20ms inference cycle의 물리적 유래
출처
- 📎 클리핑: 20260613-ep96-ko-transcript