“어제 매출 얼마야?”라는 단순한 질문조차 ‘결제 기준 매출’, ‘확정 매출’, ‘취소분 반영 매출’ 등 여러 해석이 가능하다. 마이리얼트립은 이 문제를 프롬프트 개선이 아닌, 26개 핵심 지표를 YAML로 정의한 Metric Registry로 해결했다. 이 결정은 LLM의 창의성을 통제해야 하는 지점이 어디인지 명확히 보여준다. 모호한 자연어를 결정론적 사양에 매핑하는 것이 정확한 데이터 분석의 첫걸음이다.
근거
원문에서: “해결은 prompt가 아니라 카탈로그였어요. 26개 핵심 지표를 Metric Registry라는 YAML 묶음으로 모았습니다. 표현(거래액/GMV/총거래액), 정의, 필터, 계산식을 한 곳에 두고 결정론적으로 매핑되게. 표현이 달라도 같은 metric으로 수렴합니다.”
또한 “Auto Memory는 껐어요. 무엇을 기억했는지 불투명한 메모리는 검증도 관리도 안 됩니다. 명시적 Knowledge(Metric Registry, rules, skills, dbt YAML)만 사용해요.”
이 접근법은 LLM에게 ‘데이터 정의’를 해석하게 하지 않고, 미리 정의된 사전을 참조하게 함으로써 결과의 일관성을 보장한다. 특히 dbt YAML 같은 스키마 메타데이터만으로는 부족했다는 점이 중요하다. 비즈니스 지표는 단순한 컬럼명 이상의 컨텍스트(취소 처리 시점, 환불 포함 여부 등)를 필요로 한다.
연결된 생각
- metric-registry-concept — 결정론적 지식 레이어의 개념을 더 일반화한 노트
- llm-output-consistency-patterns — 다른 도메인에서 LLM 출력 일관성을 확보하는 패턴들과 비교