정의
Agent Interface Token Overhead는 같은 작업을 수행하더라도 어떤 interface로 agent와 대화하느냐에 따라 prompt에 포함되는 system context, tool definitions, gateway metadata가 달라져 token cost가 변하는 현상이다.
핵심 구분
- Messaging gateway: Telegram, Discord, Slack처럼 편의성과 접근성이 높지만 platform context와 tool schema가 많이 붙을 수 있다.
- CLI: local terminal에서 더 짧은 context와 직접 파일 접근을 사용해 token overhead를 낮출 수 있다.
왜 중요한가
AI 비용은 모델 가격만으로 결정되지 않는다. 실제 비용은 model price × prompt size × retry count × task frequency로 결정된다. 같은 모델을 써도 interface가 매번 10k 이상의 불필요한 context를 붙이면 월간 비용은 크게 달라진다.
Hermes 맥락
Hermes는 Telegram/Slack gateway와 CLI를 모두 사용할 수 있다. 일상 알림, 빠른 capture, 이동 중 명령은 gateway가 적합하고, 긴 작업·코딩·파일 처리·batch 작업은 CLI가 비용 효율적일 수 있다.
연결
- 20260716-agent-model-routing-cost-optimization — 모델 선택 비용.
- 20260716-agent-memory-compounding-efficiency — 반복 작업 context 비용.
- 20260716-chat-interface-is-hidden-token-tax — garden insight.