전통적인 소프트웨어 테스트는 개발자가 미리 상상한 시나리오(Synthetic Scenarios)를 기반으로 작성된다. 하지만 변화무쌍한 에이전트 환경에서 이는 불충분하다. 가장 강력한 테스트 스위트는 운영 환경에서 ‘실제로 발생한 실패’로부터 나온다.
운영 중 발생한 나쁜 트레이스(Bad Trace)를 단순히 디버깅하고 끝내는 것이 아니라, 그 즉시 새로운 테스트 케이스로 고정(Lock)하는 프로세스가 핵심이다. 이는 생물학적 면역 체계가 항원을 기억하여 재감염을 막는 방식과 유사하다. 시스템이 실패할 때마다 테스트 스위트가 자동으로 성장한다면, 시간이 흐를수록 에이전트 하네스는 깨뜨리기 불가능할 정도로 강력해진다.
근거
Opik 플랫폼이 제안하는 핵심 워크플로우로, 디버깅된 모든 트레이스가 자동으로 테스트 케이스가 되는 과정을 설명한다.
“모든 실패한 트레이스는 자동으로 새로운 테스트 케이스가 된다. 테스트 스위트는 누군가 미리 작성한 가상의 시나리오가 아니라 실제 운영상의 실패로부터 성장한다.”
연결된 생각
- 20260612-self-repairing-agent-harness — 이 테스트 전환 루프를 포함하는 상위 개념
- active-testing — 정적 테스트에서 동적 피드백 기반 테스트로의 전환