API 제공자들이 캐시 적중 시 할인된 가격을 제공하는 이유는 KV 캐시가 HBM, DRAM, SSD 등 계층별로 저장되고 각 계층의 접근 비용과 유지 시간(TTL)이 다르기 때문이다. 사용자가 일정 시간 내에 같은 컨텍스트로 다시 요청하면 HBM에 캐시가 남아 있어 재사용이 가능하지만, 시간이 지나면 더 느린 계층으로 이동하거나 삭제된다. 이는 단순한 ‘착한 사용자 혜택’이 아니라 인프라의 물리적 한계를 반영한 경제적 최적화다.
근거
“HBM에 있으면 바로 hit가 되는 거고, 근데 제가 한 10분 놀다 왔어요. 그러면 얘를 10분 동안 HBM에 잡고 있는 거는 또 그들에게 손해니까 내려버리는 거고, 내려버리는 단계가 CPU 옆에 있는 DRAM으로 내리는 거, 한 1단계. 다음 flash drive에 올리는 게 2단계.”
연결된 생각
- 20260606-inference-roofline-analysis — 메모리 계층의 성능 영향
- 20260605-context-length-pricing-threshold — 200K 임계점의 경제적 이유
출처
- 📎 클리핑: 20260613-ep96-ko-transcript