LLM-as-a-Judge의 함정은 “AI가 AI를 평가한다”는 기묘함이 아니라, 평가라는 단어가 너무 쉽게 권위를 만들어낸다는 점이다. 같은 모델 출력이라도 명시적 루브릭, 원자료 근거, 반복 평가, 인간 검토가 붙으면 측정 계층이 되고, 그것들이 없으면 그럴듯한 두 번째 의견에 머문다.
이 구분은 UX 리서치에서 특히 중요하다. 연구 산출물은 숫자보다 이야기의 형태를 띠기 쉽고, 잘 쓴 문장은 실제 근거보다 강한 설득력을 가진다. AI가 생성한 요약이나 테마가 매끄럽게 보일수록, 연구자는 오히려 “무엇을 근거로 이 판단을 했는가”를 더 집요하게 물어야 한다.
근거
원문은 LLM Judge를 중립 심판이 아니라 “확장 가능하지만 noisy한 측정 계층”으로 보라고 말한다. 핵심은 모델의 점수 자체가 아니라 점수가 산출되는 절차다.
LLM Judge는 인간 판단을 대체해서는 안 된다. 고정된 루브릭, 원자료 근거, 반복 또는 다중 평가, 민감도 점검, 경계 사례에 대한 인간 검토가 필요하다.
연결된 생각
- 20260625-llm-as-judge-ux-research — 이 명제를 UX 리서치 평가 방식으로 구조화한 개념 노트.
- 20260602-evaluation-first-then-build — 평가 기준이 먼저 있어야 AI 시스템의 개선 방향이 생긴다.
- 20260515-transparency-is-the-new-validity — 질적 판단의 권위는 결과보다 절차 공개에서 나온다.