AI 에이전트에게 비즈니스 질문을 던졌을 때 답이 매번 달라지는 이유는 ‘지표(Metric)‘에 대한 합의가 프롬프트 수준의 자연어에 머물러 있기 때문이다. 마이리얼트립은 LLM의 불투명한 자동 메모리 기능을 과감히 끄고, 26개의 핵심 지표를 담은 ‘Metric Registry’를 YAML 형식으로 구축했다. 이는 AI에게 ‘생각할 자유’를 주는 것이 아니라 ‘계산할 기준’을 명시적으로 주입하는 것이다. 결국 신뢰할 수 있는 데이터 에이전트는 모델의 지능보다 거버넌스가 확보된 카탈로그에서 탄생한다.
근거
동일한 질문에 대해 결제 기준, 확정 기준 등 매번 다른 답이 나가는 현상은 데이터 스키마의 문제가 아니라 비즈니스 로직의 정의 문제다.
“무엇을 기억했는지 불투명한 메모리는 검증도 관리도 안 됩니다. 명시적 Knowledge(Metric Registry, rules, skills, dbt YAML)만 사용해요. … 표현이 달라도 같은 metric으로 수렴합니다.”
연결된 생각
- 20260515-code-level-safety-hooks — 명시적 지식이 실행 단계에서 강제되는 메커니즘
- 20260515-myrealtrip-data-agent-architecture — 지식 레이어가 포함된 전체 시스템