정의
에이전트가 만든 변경을 사람이 읽지 않고 병합시키되, 신뢰가 아니라 규칙과 증거로 그 통과 여부를 결정하는 자동 판정 장치. 대부분의 조직이 이 게이트를 열지 못하는 이유는 용기 부족이 아니라, 게이트가 읽어야 할 증거 자체가 시스템에 존재하지 않기 때문이다.
핵심 속성
- 심판 편향(실측): 2026년 벤치마크에서 GPT-5.2·Gemini 3.1 Pro는 자기 계열에 75~84% 승률을 부여, Claude Opus 4.7은 반대로 10.6~41.2%로 저평가. ArenaHard 기준 편향 폭 -38%~+90%. 동일 출력이 심판에 따라 93.3% vs 39.5%로 갈렸다.
- 심판 3원칙: ① 생성 모델과 다른 계열의 심판을 쓴다(같은 계열은 맹점을 공유). ② 고위험은 벤더가 다른 심판 패널로 평균을 낸다. ③ 객관적으로 확인 가능한 것은 심판이 아니라 코드로 판정한다.
- 판정은 런을 조종해야 한다(온도계 vs 온도조절기): 낮은 grounding은 핸드오프를 거부하고, 스키마 실패는 엣지를 차단하며, 조작 의심 분기는 격리한다. 검증된 완료만이 런을 종료시킬 수 있다. 도구 호출을 멈춘 에이전트는 턴을 끝냈을 뿐 과업을 끝낸 것이 아니다.
- 경로를 채점한다: 평가는 end-to-end / trajectory / component 3계층. 시작 지표는 faithfulness(도구가 실제 반환한 것에 근거했는가), tool parameter accuracy, task completion. 게이트에는 최종 답보다 궤적이 중요하다 — 동일한 diff라도 40스텝의 헤맴 끝에 도달한 변경은 다른 리스크다.
- 심판은 버전 있는 소프트웨어다: 버전을 고정하고 모든 점수와 함께 로깅한다. 루브릭은 “독립적으로 관찰 가능한 결과가 발생했으면 통과” 한 줄로 쓴다. 길이·키워드·인용 수·레퍼런스 유사도 같은 형태에 점수를 주면 에이전트는 옳아지는 대신 옳아 보이는 법을 학습한다.
- 폭발 반경 기준 레인 분리: 되돌리기 쉽고 국소적인 변경(먼저 개방) / 되돌릴 수 있지만 넓은 변경(결정론적 검사 + 깨끗한 궤적) / 되돌리기 어려운 변경(마이그레이션·삭제·프로덕션 데이터·자금 이동 — 점수와 무관하게 개방 금지).
- 증거 우선순위: 결정론적 결과(테스트·타입·스키마·샌드박스 실행) → 해당 에이전트 버전의 eval 궤적 → 이 표면에서의 롤백 이력 → 모델 자체 평가(가장 낮게 가중, 모델이 영향을 미칠 수 있는 유일한 입력이므로).
- 점진 개방 절차: 섀도 모드(점수만 매기고 머지 없음)를 먼저 돌리고, 게이트와 인간 리뷰어의 불일치율이 0에 근접할 때까지 닫아둔다. 전 항목 green도 증거일 뿐 증명은 아니다 — 테스트가 스펙이 아니라 테스트로 수렴할 수 있다.
관계
- 20260527-three-gulfs-of-evals — 상위개념: 게이트가 읽을 판정의 품질을 결정하는 3단계 간극
- 20260806-agentic-delegation-measurement — 연장: 위임 수준을 측정하는 축, 게이트는 그 위임의 상한을 정한다
- 20260807-eval-defining-capability-as-hiring-signal — 연장: eval 정의 역량이 조직 역량으로 환산되는 지점
- 20260718-self-correcting-ai-loop-architecture — 대조: 자기교정 루프의 judge와 게이트의 판정 재사용 관계
- 20260609-validation-gate-is-key-to-agent-reliability — 하위개념: 스킬 갱신 단위의 검증 게이트
- 20260812-graph-engineering — 상위개념: 게이트를 워크플로우 그래프의 독립된 검사 잡으로 일반화한 설계 문법
인용
편향된 심판이 먹이는 게이트는 게이트가 없는 것보다 나쁘다. 추측을 숫자로 세탁한 다음 그 숫자에 따라 행동하기 때문이다.
당신이 만들고 있는 것의 정직한 버전은 에이전트에 대한 신뢰가 아니다. 신뢰가 더 이상 질문이 되지 않을 만큼 충분히 조인 제약이다.