프롬프트 수정은 한 곳을 고치면 다른 데서 회귀가 나는 전형적인 ‘분수 효과’를 만든다. 마이리얼트립은 이 문제를 소프트웨어 공학의 TDD를 AI 에이전트에 적용해 해결했다: 실패 기록 → 원인 분석 → 지식 수정 → 테스트 추가의 운영 루프.
여기에 4겹의 안전망(Role, Gate, Rule, Hook)을 추가했다. 특히 주목할 점은 Rule(자연어 정책)과 Hook(코드 레벨 차단)을 이중으로 운영한 것이다. 설명 가능한 정책과 실행을 강제하는 차단이 함께 있어야 실제 위험을 통제할 수 있다. SELECT만 허용하고 100GB scan cap, PII 마스킹을 코드 레벨에서 강제한 점은 데이터 거버넌스 측면에서도 좋은 사례다.
근거
“품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요. 그래서 운영 루프를 박았습니다 — 실패 사례 기록 → 원인 분석 → Knowledge 수정 → 재발 방지 test 추가.”
연결된 생각
- 20260515-ai-agent-harness-knowledge-test-loop — Test Loop가 아키텍처의 세 번째 축임
- 20260515-orchestrator-lightweight-lazy-loading — 경량 orchestrator가 테스트 용이성에 기여함
- test-driven-development-ai — 전통적 TDD와 AI 에이전트 테스트의 유사성