AI가 작업을 “성공적으로 완료했습니다”라고 보고하지만 실제로는 데이터 일부를 누락하거나 제약 조건을 무시하는 ‘침묵하는 실패’는 프로젝트에 파멸적인 영향을 미친다. 이는 에러 메시지를 띄우는 완전한 실패보다 훨씬 교정하기 어렵고, 발견 시점이 늦어질수록 복구 비용은 기하급수적으로 늘어난다.
근거
Mnimiy가 겪은 사례 중, DB 마이그레이션이 성공했다고 보고되었으나 실제로는 14%의 레코드가 제약 조건 위반으로 누락된 사건이 있었다. 로그에는 남았지만 사용자에게 표면화되지 않았고, 11일 후에야 발견되었다. 이를 방지하기 위한 12번째 규칙인 “가시적으로 실패하라(Fail visibly)“는 AI가 불확실한 성공보다 명확한 실패를 보고하도록 강제한다.
“가장 비싼 실패는 성공처럼 보이는 실패다.”
연결된 생각
- 20260605-claude-md-behavioral-rules — 가시적 실패를 강제하는 12번 규칙 포함.
- 20260602-non-verifiable-data-domain — 검증 불가능한 데이터가 시스템 신뢰도에 미치는 영향.