대부분의 AI 개발자가 함정에 빠지는 지점은 ‘프롬프트 엔지니어링’을 만병통치약으로 여기는 것이다. 하지만 실무 환경에서 프롬프트 수정은 ‘두더지 잡기’와 같다. 한 쪽의 페르소나를 고치면 다른 쪽에서 회귀(Regression)가 발생한다. 진정한 신뢰는 프롬프트의 유려함이 아니라, 실패를 시스템적으로 방어하는 운영 루프에서 나온다.
근거
마이리얼트립의 사례는 프롬프트 수정 대신 ‘실패 사례 기록 → 원인 분석 → 지식/규칙 수정 → 재발 방지 테스트 추가’라는 고전적인 소프트웨어 공학의 루프를 AI 운영에 이식했다. 특히 정확성, 행동 경로, 안정성, 형식이라는 네 가지 명확한 검증 기준을 매번 자동화된 테스트(Eval)로 확인한다는 점이 핵심이다.
품질을 프롬프트 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요. 그래서 운영 루프를 박았습니다.
연결된 생각
- 20260612-myrealtrip-ai-agent-architecture — 이 철학을 뒷받침하기 위해 설계된 Harness와 Hook 시스템.
- 20260612-metric-registry-as-ai-dictionary — 테스트 가능한 ‘지식’을 관리하기 위한 수단.