마이리얼트립이 “품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났다”고 고백한 부분은 LLM 기반 시스템의 본질적인 어려움을 드러낸다. 이에 대한 해결책으로 운영 루프(실패 → 분석 → 수정 → 테스트)와 4겹 안전망을 도입한 점은 소프트웨어 공학의 테스트 주도 개발(TDD)과 데브옵스(DevOps) 원칙을 AI 에이전트에 적용한 선진 사례다. 특히 ‘Rule이 설명 가능한 안전망’과 ‘Hook이 실행을 멈추는 안전망’이라는 이중 안전장치는 LLM 출력을 맹신하지 않는 성숙한 접근을 보여준다.
근거
원문에서: “운영 루프를 박았습니다 — 실패 사례 기록 → 원인 분석 → Knowledge 수정(Metric Registry/rule/skill) → 재발 방지 test 추가. shell test와 eval로 실제 Slack 대화를 자동 재현해서 정확성·행동 경로·안정성·형식 네 가지를 매번 검증해요.”
또한 안전망에 대해: “Rule이 설명 가능한 안전망이라면, Hook은 실행을 멈추는 안전망이에요. 둘 다 필요합니다. SELECT만 허용, 100GB scan cap, PII 자동 마스킹까지 코드 레벨에서 강제돼요.”
이 운영 루프는 ‘인간 피드백 기반 강화학습(RLHF)‘보다 더 실용적이고 결정론적인 방법이다. 실패 사례를 지식 레이어에 반영하고, 그 지식이 실제로 적용되는지 테스트로 검증한다. 이는 특히 엔터프라이즈 환경에서 AI 에이전트가 ‘비가역적 행동’(예: 데이터베이스 쿼리 실행)을 할 때 필수적이다.
연결된 생각
- 20260605-ai-agent-harness-pattern-myrealtrip — 전체 아키텍처 패턴을 설명하는 wiki 노트
- test-driven-development-for-nlp-pipelines — NLP 파이프라인에 TDD를 적용한 다른 사례와 비교