모델 크기와 training 효율에만 주목하던 시각에서 벗어나, 이제는 inference serving 인프라가 프론티어 랩의 진짜 moat이라는 점을 강하게 느꼈다. Claude Code, Codex 같은 에이전트 워크로드는 엄청난 양의 inference를 소모하며, 이를 경제적으로 감당할 수 있는 능력은 단순히 좋은 모델을 가졌다고 해서 생기지 않는다. vLLM, SGLang 등 오픈소스 인프라가 있음에도 각 랩은 자기만의 orchestrator와 cache 계층, batch scheduler를 비공개로 개발하며, 이것이 결국 토큰당 가격과 사용자 경험의 차이를 만든다.
근거
원문에서 “프론티어 랩들의 진짜 자산, moat라고 볼 수 있는 것은 이런 엔지니어링 인프라 능력”이라고 직접 언급된다. 또한 실제로 GPU utilization을 70~80%로 유지해야 수익이 나며, 이를 위해 chunked prefill, PagedAttention, continuous batching 등 수많은 최적화 기법이 적용된다. 이러한 기술들은 논문으로 공개되지 않고 내부에서만 발전시키는 경우가 많다.
“어떻게 하드웨어를 잘 이해하고 사용자의 워크로드를 잘해서 이 serving throughput을 늘릴 수 있느냐는 매우 중요한 기술이고, 이것들을 밖에 다 공유하지 않고 있죠.”
연결된 생각
- 20260605-llm-inference-roofline-analysis — 인프라 엔지니어링의 목표는 바로 이 roofline 곡선을 아래로 누르는 것
- 20260605-vllm-sglang-inference-engine — 오픈소스 엔진의 한계와 각 랩의 독자적 최적화
- 20260605-kv-cache-pagedattention — PagedAttention은 인프라 엔지니어링의 대표적 사례
출처
- 📎 클리핑: 20260613-ep96-ko-transcript