데이터 분석 에이전트에서 발생하는 가장 치명적인 오류는 ‘매출’이나 ‘취소’ 같은 핵심 비즈니스 지표의 정의가 상황에 따라 흔들리는 것이다. 이를 단순히 프롬프트 수정으로 해결하려 들면, 한 문제를 고칠 때 다른 맥락에서 회귀 오류(Regression)가 발생할 확률이 매우 높다.
근거
마이리얼트립은 “어제 매출 얼마야?”라는 질문에 대해 결제 기준, 확정 기준, 취소분 반영 여부 등이 매번 달라지는 문제를 겪었다. 이를 해결하기 위해 프롬프트가 아닌 ‘Metric Registry’라는 명시적 YAML 카탈로그를 도입했다.
표현(거래액/GMV/총거래액), 정의, 필터, 계산식을 한 곳에 두고 결정론적으로 매핑되게. 표현이 달라도 같은 metric으로 수렴합니다.
연결된 생각
- 20260611-myrealtrip-data-agent-architecture — 이 통찰이 적용된 전체 시스템 구조
- “Auto Memory” 기능을 끄고 명시적 Knowledge(rules, skills, dbt YAML)만 사용하기로 한 결정은 AI의 불투명성을 제거하고 검증 가능성을 확보하려는 의도다.