LLM-as-a-judge는 견고한 결과에서 출발했다. Zheng 등이 2023년에 GPT-4가 인간 평가자와 80% 이상 일치한다고 보였고 — 인간끼리의 일치율과 비슷한 수준 — 업계는 거의 하룻밤 만에 API 호출로 옮겨갔다. 문제는 후속 연구가 밝힌 것이다. 심판은 눈앞의 내용 말고 다른 것에도 반응한다.
근거
2026년 벤치마크에서 GPT-5.2와 Gemini 3.1 Pro는 자기 모델 계열 출력에 75~84%의 승률을 줬다. Claude Opus 4.7은 반대 방향으로 어긋나 자기 계열을 10.6~41.2%로 저평가했다. ArenaHard 기준 심판 편향 폭은 -38%에서 +90%.
동일한 출력 묶음을 두 심판에게 통과시켰다. 한쪽에서는 93.3%, 다른 쪽에서는 39.5%였다.
같은 산출물의 점수가 두 배 넘게 갈린다면, 그 숫자는 산출물이 아니라 심판을 측정하고 있다. 여기에 시간 축의 편향이 하나 더 겹친다. 심판은 버전을 가진 소프트웨어다. 조용히 마이너 버전이 오르고 다음 달에 메이저가 오르는 동안 스위트는 계속 숫자를 뱉지만, 그 숫자들은 몇 주 전부터 이미 같은 의미가 아니다.
그래서 세 가지 규칙이 남는다. 생성 모델과 다른 계열의 심판을 쓸 것(같은 계열은 맹점을 공유한다). 고위험이면 벤더가 다른 심판 패널로 상관된 오차를 깰 것. 객관적으로 확인 가능한 것은 심판이 아니라 코드로 보낼 것 — 테스트가 통과했는가, 파일이 존재하는가, 상태가 바뀌었는가.
그리고 형태에 점수를 주지 말 것. 길이·키워드·인용 수·레퍼런스 유사도에 보상을 걸면 에이전트는 옳아지는 대신 옳아 보이는 법을 배운다. 모델이 루프 안에 들어온 굿하트의 법칙이고, 이때 방어선은 그대로 공격 표면이 된다.
연결된 생각
- 20260809-eval-gate-for-agent-merge — 편향된 심판 위에 게이트를 세우면 추측이 숫자로 세탁된다
- 20260613-the-evaluators-shadow — 평가가 대상이 아니라 평가자를 반영한다는 같은 구조의 인문학적 판본
- 20260616-evaluation-fallacy-benchmark — 벤치마크 수렴이 스펙이 아니라 테스트로 향할 때의 오류