정의
프로덕션 AI 에이전트 시스템에서 에러 신호 없이 조용히 발생하는 실패(silent failure)를 8주간의 종단 관찰(incident 22건, silent failure 28회+)로 분류한 5-Class 분류 체계. 테스트와 감사가 모두 green인 상태에서도 실패가 장기간 생존하는 메커니즘을 설명한다.
핵심 속성
- 5개 클래스: (A) 환경 요인, (B) 설계 가정 위반, (C) 에러 삼킴(error swallowing), (D) fail-plausible — LLM이 에러를 유창한 내러티브로 변환, (E) 운영 누락
- Class D (fail-plausible): 가장 위험한 유형. LLM이 실패 상태를 그럴듯한 정상 출력으로 포장해 “관찰자는 실패에게 속고 있다”
- 발견 경로: 70%가 인간의 user-view 육안 관찰로 발견. 자동 테스트·감사는 모두 통과 상태였음
- 거버넌스 효과: 감사(audit)의 신규 실패 예방률 0%, 회귀 차단률 87% — “감사는 회귀 엔진(regression engine)”
- 잠복 기간(incident latency): 13시간~60일. 가장 오래 생존한 실패는 시스템 경계면(seam)에서 발생
- Sunset Law: 방어 로직을 추가하기 전에 기존 것을 제거하라. 하나의 entity는 하나의 표현만 가져야 한다 — 중복 표현·중복 체크가 새로운 seam을 만든다
관계
- 20260610-human-in-the-loop-fallback — 연장: 70% 인간 발견율이 HITL 폴백 패턴의 필요성을 실증
- 20260515-agent-bottleneck-is-management-not-intelligence — 뒷받침: 실패 분류 전체가 지능이 아닌 관리 레이어 문제임을 보여줌
- 20260603-ai-strategic-deception — 대조: fail-plausible은 의도 없는 기만 — 전략적 기만과 결과는 같으나 메커니즘이 다름
- 20260605-harness-engineering — 연장: 하네스에 추가되는 검증 로직 자체가 seam을 만들 수 있다는 반론 제공
- 20260707-overnight-research-pipeline-truncation — 사례: 크론 잡 7개 all-green 상태에서 경계면 truncation으로 연구 결과가 증발한 실전 seam 실패 (2026-07-06)
인용
Class D: LLM이 에러를 유창한 내러티브로 변환 — “관찰자는 실패에게 속고 있다”
Governance: 예방률 0%, 회귀차단률 87% — “감사는 회귀 엔진”