최근 Cluade Opus 4.6, GPT-5.5, DeepSeek V4 같은 모델들이 5T~10T 파라미터로 도약할 수 있었던 배경에는 단순히 더 큰 GPU(H100→GB300)의 존재만 있는 것이 아니다. 핵심은 이 거대한 모델을 경제적으로 서빙할 수 있는 inference 인프라의 혁신이다.
Dwarkesh의 Reiner Pope 인터뷰에서 드러난 통찰: 같은 하드웨어라도 배치 스케줄링, KV cache 관리, chunked prefill, PagedAttention 등의 최적화에 따라 토큰당 비용이 수배에서 수십 배 차이 난다. 프론티어 랩들은 이런 내부 최적화 기술을 공개하지 않으며, API 가격표조차도 의도치 않게 그들의 인프라 효율을 암시한다.
결국 모델 아키텍처 자체보다 “어떻게 하면 주어진 HBM과 대역폭에서 더 많은 유저를 동시에 서빙할 것인가”가 진짜 경쟁력이다. 이는 AI 회사의 가치 사슬에서 하드웨어 → 알고리즘 → 인프라 → 비즈니스 모델이 단단히 연결되어 있음을 의미한다. 단순한 모델 성능 비교는 더 이상 의미가 없다.
근거
“프론티어 랩들의 진짜 어떤 그들의 자산, moat라고 볼 수 있는 것들은 이런 엔지니어링 인프라 능력인 것 같아요. 이 엔지니어링 인프라 능력이 가장 핵심이 되어 가는 것 같아요. 어떻게 하드웨어를 잘 이해하고 사용자의 워크로드를 잘해서 이 serving throughput을 늘릴 수 있느냐라는 거는 이거는 굉장히 중요한 기술이다.”
연결된 생각
- 20260606-llm-serving-roofline-analysis — roofline 분석이 인프라 최적화의 수학적 기반
- vllm-pagedattention — KV cache 메모리 효율화의 핵심 기술
- chunked-prefill-dynamic-batching — 배치 채우기 최적화의 실제 구현
- api-pricing-as-reverse-engineering-signal — 가격표 역산으로 인프라 효율 추정 가능
출처
- 📎 클리핑: 20260613-ep96-ko-transcript