신정규 대표가 Backend.AI:GO를 개발하며 130억 토큰을 사용했다고 밝힌 것은 충격적이면서도 명확한 메시지를 던진다. 이제 IT 기업의 경쟁력은 보유한 GPU 수가 아니라, 얼마나 많은 토큰을 효율적으로 소비할 수 있는지와 얼마나 빠르게 추론을 수행할 수 있는지에 달려 있다는 것이다. 이는 마치 제조업에서 원자재 단가와 생산 속도가 경쟁력을 결정하던 것과 유사한 패러다임이다.
토큰을 많이 쓸 수 있는 기업은 더 많은 실험을 빠르게 수행할 수 있고, 더 복잡한 문제를 해결할 수 있다. 그러나 토큰에는 비용이 따르고, 추론 속도는 느릴 수 있다. 따라서 기업은 두 가지 전략 중 하나를 선택해야 한다: (1) 고속 추론 인프라에 투자하여 대규모 토큰을 빠르게 처리하거나, (2) Adaptive Thinking Budget을 통해 동일한 결과를 더 적은 토큰으로 얻는 최적화 전략. 신정규는 후자가 더 현실적이고 지속 가능한 접근법이라고 본다.
근거
“토큰을 사용할 수 있는 양이 그 회사의, 특히 IT 회사는 IT 회사의 경쟁력이랑 직결될 수 있는, 그게 첫 번째 얻은 교훈이고요.” “똑같은 일을 할 때 예를 들면 성능이 좋아지기 위해서 모델들이 선택한 방법이 보통은 in-context learning에 사용되는 눈에 안 보이는 thinking token… 이 양이 늘어난다는 게 당연히 최종 결과물이 좋지만 동시에 개발 속도가 느려진다는 거랑도 같은 얘기” “어떻게 thinking을 덜 하고서 개발을 하게 만들 것인가… 정말로 토큰 생성을 되게 빨리 하는 게 두 번째 방법”
연결된 생각
- 20260606-token-economy-and-inference-speed — 개념적 기반: 토큰 경제성의 정의와 구성 요소
- 20260606-meta-coding-harness-generation — 실천적 함의: 토큰을 최적화하는 메타 코딩 전략