정의
자가 복구 에이전트 하네스는 AI 에이전트를 둘러싼 프롬프트, 도구, 검증 계층(Harness)이 프로덕션 환경에서 발생한 실패(Trace)를 기반으로 원인 분석, 코드 수정 제안, 회귀 테스트 추가의 루프를 자동화하여 스스로를 지속적으로 강화하는 시스템 아키텍처 패턴이다.
핵심 속성
- 디버깅 루프의 자동화: 단순한 트레이스(Trace) 시각화에 그치지 않고, 에이전트(Ollie 등)가 직접 소스 코드를 읽고 실패 원인(Why)을 파악하여 수정안(Diff)을 제안한다.
- 실패 기반 테스트 성장 (Failure-driven Test Generation): 오류가 발생한 실제 프로덕션 트레이스 전체의 맥락을 활용해, 수동 시나리오 작성 없이 즉각적으로 새로운 회귀 테스트(Regression Test) 케이스를 생성한다.
- 전체 그래프 검증 (Full Graph Simulation): 단일 프롬프트나 모델의 단위 테스트를 넘어, 하나의 변경 사항이 에이전트 그래프(Agent Graph) 전체 워크플로우에 미치는 파급 효과를 샌드박스에서 통합적으로 검증한다.
관계
- 20260610-opik — 하위개념 (이 패턴을 구현하여 트레이싱부터 자동 수정, 회귀 테스트를 하나로 묶은 구체적인 오픈소스 플랫폼)
- agent-observability — 상위개념 (단순 모니터링을 넘어 조치와 예방을 포함하는 진화된 관측성)
- llm-as-a-judge — 연장 (자연어로 선언된 테스트를 패스/페일로 판별해 에이전트 하네스를 견고하게 만드는 기반 기술)
인용
The problem compounds itself. Every model upgrade introduces new failure modes. Every new tool adds new edge cases. The harness gets more complex faster than any team can manually track and repair.