‘어제 매출이 얼마야?‘라는 질문에 결제 기준, 확정 기준, 취소 반영 기준이 뒤섞여 나온 경험은 AI Agent 지식 관리의 고전적인 실패 사례다. 마이리얼트립 팀은 이 문제를 프롬프트 튜닝이 아니라 Metric Registry라는 명시적 YAML 카탈로그로 해결했다.
26개 핵심 지표에 대해 표현, 정의, 필터, 계산식을 결정론적으로 매핑하고, Auto Memory를 완전히 껐다. 이 선택이 중요한 이유는 ‘무엇을 기억하는지’를 투명하게 유지하기 위함이다. 블랙박스 메모리는 검증과 관리가 불가능하다. 명시적 정책 파일만으로 구성된 Knowledge Layer는 감사 가능하고, 수정 시 영향 범위를 예측할 수 있다.
근거
“표현이 달라도 같은 metric으로 수렴합니다. 그리고 Auto Memory는 껐어요. 무엇을 기억했는지 불투명한 메모리는 검증도 관리도 안 됩니다.”
연결된 생각
- 20260515-ai-agent-harness-knowledge-test-loop — Knowledge Layer가 3축 아키텍처의 두 번째 축임
- data-semantic-layer — BI에서의 시맨틱 레이어와 Metric Registry의 유사성