AI 시스템을 구축할 때 가장 흔히 빠지는 함정은 품질 문제를 프롬프트 수정으로만 해결하려는 태도다. 그러나 프롬프트 엔지니어링은 본질적으로 불안정하다. 엣지 케이스 하나를 처리하기 위해 문구를 추가하면, 기존에 잘 되던 다른 기능이 망가지는 회귀(Regression)가 필연적으로 발생한다.
마이리얼트립의 AI 데이터 분석가 사례는 프롬프트에 대한 환상을 버리고 전통적인 소프트웨어 엔지니어링의 본질로 돌아갔음을 보여준다. 실패 사례를 로깅하고, 원인을 분석한 뒤, 프롬프트가 아닌 ‘지식(사전)‘을 수정하고, 이를 검증하는 테스트 코드를 추가하는 운영 루프를 구축했다.
가장 인상적인 통찰은 ‘룰(Rule)‘과 ‘훅(Hook)‘의 분리다. 자연어로 작성된 정책(Rule)은 AI 모델을 ‘설득’할 뿐, 그 행동을 100% 보장하지 못한다. 할루시네이션이나 프롬프트 인젝션 앞에서는 무용지물이 될 수 있다. 따라서 실행 직전에 코드 레벨에서 강제로 개입하는 ‘훅(Hook)‘이 반드시 필요하다. SQL의 SELECT 문만 허용하거나, 스캔 용량을 100GB로 제한하고, PII 데이터를 자동으로 마스킹하는 것은 자연어가 아니라 코드의 영역이어야 한다.
에이전트를 신뢰할 수 있게 만드는 것은 AI의 똑똑함이 아니라, 시스템이 쥐고 있는 확실한 목줄(Hook)과 촘촘한 테스트 넷(Test net)이다.
근거
품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요. 그래서 운영 루프를 박았습니다… Rule이 설명 가능한 안전망이라면, Hook은 실행을 멈추는 안전망이에요. 둘 다 필요합니다.
연결된 생각
- 20260527-claude-code-cannot-r — 테스트 기반의 피드백 루프 없이는 AI의 코딩/분석 결과를 신뢰할 수 없다는 점에서 일맥상통한다.