정의
UX 리서치에서의 LLM Judge는 언어 모델을 사용해 AI가 생성한 인터뷰 요약, 테마, 코딩 결과, 인사이트 초안을 명시적 루브릭에 따라 점수화·비교·비판하는 평가 방식이다. 핵심 목적은 AI 산출물을 신뢰하는 것이 아니라, 원자료에 근거하지 않은 주장과 과잉 해석을 검출하는 것이다.
핵심 속성
- 평가 대상: 인터뷰 요약의 전사록 충실성, 생성 테마의 증거 기반성, 인사이트의 비약, 최종 보고서의 과장 여부.
- 필수 조건: 고정된 루브릭, 원자료 인용, 반복 평가 또는 다중 Judge, 프롬프트 민감도 점검, 경계 사례에 대한 인간 검토.
- 주요 위험: 답변 순서, 프롬프트 표현, 점수 척도, 문체, 장황함, 모델 계열, 표면적 자신감에 따라 판단이 흔들릴 수 있다.
- 적절한 역할: 중립 심판이 아니라 확장 가능한 측정 계층이다. 연구자의 판단을 대체하지 않고 검토 대상을 좁힌다.
관계
- 20260515-robust-qualitative-research-guide — 상위개념: 질적 연구의 엄밀성은 원자료와 해석 과정의 투명성에 달려 있다.
- 20260607-harness-engineering-ai-agent-verification — 연장: LLM Judge는 UX 리서치 산출물에 적용된 AI 하네스다.
- 20260611-five-user-rule-usability-testing — 대조: UX 평가 기준은 항상 적용 전제와 한계를 함께 가져야 한다.
- 20260606-cot-as-a-means-not-proof — 대조: 그럴듯한 설명은 증거가 아니며, Judge도 동일한 함정에 빠진다.
인용
LLM Judge는 중립적 심판이 아니다. 여전히 모델이며, 답변 순서, 프롬프트 표현, 점수 척도, 문체와 표면적 자신감에 따라 판단이 바뀔 수 있다.