업계가 ChatGPT Memory, Claude Memory 등 자동 메모리 기능에 열광하는 동안, 마이리얼트립은 정반대 선택을 했다 — Auto Memory를 껐다. 이유는 단순하고 강력하다: 무엇이 저장됐는지 불투명한 메모리는 검증도 관리도 안 된다.
이 선택은 프로덕션 시스템의 본질을 짚는다. 사용자 한 명이 친구 대화하듯 쓰는 AI라면 Auto Memory가 편하다. 하지만 회사 지표 답변처럼 결과의 일관성·재현성이 필요한 시스템에서는, 메모리가 어떤 상태인지 모르면 같은 질문에 어떤 날은 결제 기준 매출, 어떤 날은 확정 매출이 나간다. 이게 실제로 일어났다.
근거
“어제 매출 얼마야?”라고 물었는데 어떤 날은 결제 기준만 포함한 매출, 어떤 날은 확정된 매출, 어떤 날은 취소분이 반영된 매출이 답으로 나갔어요. 해결은 prompt가 아니라 카탈로그였어요.
Auto Memory는 껐어요. 무엇을 기억했는지 불투명한 메모리는 검증도 관리도 안 됩니다. 명시적 Knowledge(Metric Registry, rules, skills, dbt YAML)만 사용해요.
26개 핵심 지표를 Metric Registry라는 YAML로 명시한 결정은, “AI가 알아서 기억하게” 두는 게 아니라 회사의 정의를 인간이 통제 가능한 형태로 박제하는 행위다. 이는 Karpathy의 LLM Wiki 정신과도 일치한다.
연결된 생각
- 20260508-llm-wiki-pattern — Karpathy의 명시적 지식 누적 패턴
- 20260515-memory-file-is-the-onboarding-doc-not-prompt — 명시적 컨텍스트 우선
- 20260515-trust-comes-from-tests-not-prompts — 같은 글의 자매 노트