Claude를 쓸까 Gemini를 쓸까는 팀 회의에서 가장 자주 나오면서 가장 쓸모없는 질문이다. 진짜 질문은 “어느 업무에 얼마나 많은 지능을 투입할 것인가”다. 이건 도구 선택이 아니라 예산 배분 의사결정이고, CFO가 다뤄야 할 종류의 문제다.
Ramp가 토큰을 사람과 vendor에 이은 기업 비용의 세 번째 기둥이라 부른 이유가 여기 있다. 세 번째 기둥이 된 순간, 그건 취향으로 결정할 항목이 아니게 된다.
근거
모델 라우팅은 내가 Claude를 선호하냐, Gemini를 선호하냐의 문제가 아닙니다. 어디에 얼마나 많은 지능을 투입할지 정하는 자본 배분입니다.
여기서 두 가지 실패 모드가 갈린다. AI 사용을 일괄 삭감하면 실제로 compounding하던 업무까지 멈춘다. 반대로 계속 지불하면 어떤 workflow가 가치를 만드는지 모른 채 비용만 커진다. 둘 다 판단 근거가 없어서 생기는 실패다.
그리고 비용 데이터만으로는 model을 바꿀 수 없다. 싼 모델로 갈아탔을 때 품질이 유지되는지 확인할 방법이 없기 때문이다. private eval이 있어야 같은 업무를 여러 model에 시켜보고 기준을 통과하는 가장 저렴한 model을 고를 수 있다. 즉 eval은 품질 도구이기 전에 비용 최적화의 전제조건이다. 이 순서를 뒤집으면 안 된다.
실행 순서도 명확하다. prompt → context → caching → skill → memory → routing을 다 고친 다음에야 파인튜닝을 검토한다. 비용이 높다고 곧장 파인튜닝으로 뛰는 것이 가장 비싼 오답이다.
연결된 생각
- 20260716-agent-model-routing-cost-optimization — 라우팅 비용 최적화의 구체적 구조
- 20260806-internal-ai-lab — 라우팅 판단의 근거를 만드는 상위 시스템
- 20260527-three-gulfs-of-evals — eval이 왜 선행 조건인지
- 20260806-real-ai-cost-is-unaccumulated-learning — 비용 이전에 축적 문제가 먼저다