대부분의 팀은 한 걸음을 남기고 멈춘다. 숫자를 얻고, 대시보드에 올리고, 그 대시보드는 아무의 행동도 바꾸지 않는다. 온도계와 온도조절기의 차이다. 2026년에 성숙한 전환은 평가를 에이전트 뒤가 아니라 안에서 돌리는 것이다 — 점수가 다음에 무엇이 허용되는지를 통제한다.
근거
각 판정은 진행 중인 런에 대한 구조적 행동으로 매핑된다. 낮은 grounding은 핸드오프를 거부한다. 스키마 실패는 엣지를 차단한다. 조작이 의심되는 분기는 메인 스레드로 병합되는 대신 격리된다. 그리고 검증된 완료만이 런을 종료시킬 수 있다.
마지막 항목이 가장 날카롭다. 도구 호출을 멈춘 에이전트는 자기 턴을 끝냈을 뿐이고, 그것은 과업을 끝낸 것과 다르다. 그 차이를 아는 것은 외부 검사뿐이다. 내 파이프라인에서 “완료했습니다”라는 마지막 메시지를 종료 조건으로 쓰는 순간, 나는 에이전트의 자기 보고를 검증으로 착각하고 있는 것이다.
여기에 하나 더 붙는다. 최종 답만 채점하면, 망가진 경로로 정답에 도달한 에이전트를 한 달 동안 아무도 발견하지 못한다.
깨끗한 경로로 도착한 변경과, 40스텝의 헤맴 끝에 도착한 동일한 변경은 diff가 같아도 서로 다른 리스크다.
그래서 궤적(trajectory)은 사후 디버깅용 로그가 아니라 게이트가 읽는 1급 증거다. 그리고 판정이 런을 조종해본 시스템만이 머지 시점에 읽을 가치가 있는 판정을 갖게 된다. 관측 가능성은 여기서 비로소 비용에서 자산으로 바뀐다.
연결된 생각
- 20260809-eval-gate-for-agent-merge — 이 판정들이 최종적으로 모이는 머지 게이트
- 20260718-judge-without-ground-truth-is-coherence-theater — 판정이 외부 근거 없이 이뤄지면 행동으로 옮길 수 없다
- 20260610-agent-observability-must-close-the-loop — 관측이 루프를 닫아야 한다는 같은 주장의 이전 판본