단순히 프롬프트를 수정하여 AI의 답변 품질을 높이려는 시도는 ‘두더지 잡기’식의 회귀(Regression) 문제를 야기한다. 진정한 신뢰도는 실패를 기록하고, 원인을 분석하여, 이를 자동화된 테스트로 고착화하는 소프트웨어 엔지니어링 루프를 통해서만 확보될 수 있다.
근거
프롬프트 엔지니어링은 확률적 조절에 가깝지만, 운영 루프는 결정론적 개선을 지향한다. 마이리얼트립의 사례에서는 실패 사례를 지식(Knowledge) 수정으로 연결하고, 이를 재발 방지 테스트(Shell test, Eval)로 재현하여 정확성과 행동 경로를 매번 검증한다.
품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요. 그래서 운영 루프를 박았습니다 — 실패 사례 기록 → 원인 분석 → Knowledge 수정 → 재발 방지 test 추가.
연결된 생각
- 20260611-metric-registry-for-ai-agents — 운영 루프에서 ‘Knowledge 수정’의 대상이 되는 핵심 자산
- 20260611-enforceable-safety-hooks-for-llm — 테스트뿐만 아니라 실행 시점의 안전망(Hook)까지 결합되어야 완전한 신뢰가 형성됨