신정규 대표는 Backend.AI:GO 개발에 130억 토큰을 썼다. 이 숫자는 단순한 비용 이상의 의미를 가진다. 그는 “토큰을 사용할 수 있는 양이 IT 회사의 경쟁력과 직결될 수 있다”고 말한다. 이 말은 토큰이 새로운 화폐가 되었음을 시사한다. 하지만 단순히 많이 쓰는 것이 능사가 아니다. 두 가지 전략적 방향이 있다.
첫째, ‘적게 써서 같은 결과 내기’ — thinking budget을 최적화하는 것이다. 모델들은 in-context learning을 위해 thinking token을 늘리는 방향으로 진화하지만, 이는 결과물의 질을 높이는 대신 개발 속도를 느리게 만든다. 단순 작업에는 thinking을 줄이고, 복잡한 작업에만 많이 투입하는 adaptive thinking budget이 필요하다.
둘째, ‘빠르게 생성하기’ — 토큰 생성 속도 자체를 높이는 초고속 inference다. 신정규 대표는 기존 ChatGPT 수준의 속도가 아니라 5~10배 빠른 iteration을 할 수 있는 인프라가 중요해질 것이라고 예측한다. 실제로 Codex Spark와 같은 서비스가 등장하며 이 시장이 열리고 있다. 이 승부는 결국 ‘고속 inference 시장’으로 가는 수요가 생기고, 돈이 있는 곳은 고속 inference로 경쟁력을 올리고 그렇지 않은 곳은 생각을 덜 하게 만드는 쪽으로 갈 것이다.
이 두 가지 전략은 상호 보완적이다. 에이전트 코딩을 본격적으로 도입하는 조직이라면, 토큰 소비를 단순 비용으로 보지 말고 ‘경쟁력 투자’로 바라봐야 한다. 효율적인 harness를 만들어 thinking budget을 동적으로 조절하고, 가능하다면 고속 inference 인프라를 확보하는 것이 앞으로의 승부를 결정할 것이다.
근거
“똑같은 일을 할 때 어떻게 thinking을 덜 하고서 개발을 하게 만들 것인가… 토큰 자체를 덜 생성하고 같은 결과를 내게 만드는 게 첫 번째 도전 과제가 될 거고, 두 번째는 정말로 토큰 생성을 되게 빨리 하는 게 두 번째 방법이 될 겁니다. 요새 high-speed inference가 필요하게 되는 거죠. 우리가 익숙한 이 ChatGPT의 code generation 하는 그 속도가 아니라 5배에서 10배 정도의 iteration을 돌 수 있는 엄청나게 초고속 inference가 되게 중요해지게 되겠다.”
연결된 생각
- 20260606-meta-programming-in-agentic-coding — 토큰 경제성의 개념적 기반
- 20260606-role-of-developer-is-to-create-coding-agent — 개발자 역할 변화와의 연결: harness를 만드는 일이 토큰 최적화의 핵심
- 20260606-software-half-life-shortens — 소프트웨어 수명 단축 시대에 빠른 iteration의 중요성 강화
출처
- 📎 클리핑: 20260613-ep86-ko-transcript