UX 리서치에서 LLM Judge를 쓴다면 가장 강한 기본값은 “근거 없으면 점수 없음”이어야 한다. 모델이 요약이 좋다거나 테마가 타당하다고 말하는 것은 충분하지 않다. 각 주장마다 전사록의 어떤 발화, 어떤 관찰, 어떤 모순을 근거로 삼았는지 함께 제출해야 한다.
이 원칙은 AI 평가를 더 느리게 만들지만, 바로 그 느려짐이 품질 관리의 핵심이다. 자동화가 연구 산출물을 수십 개씩 만들어내는 상황에서는 검토자가 모든 문장을 정독하기 어렵다. LLM Judge의 가치는 최종 결론을 대신 내리는 데 있지 않고, 인간이 봐야 할 취약한 지점과 근거 공백을 드러내는 데 있다.
근거
원문은 인터뷰 요약 평가에서 Judge가 단순히 “좋은 요약”이라고 말하면 안 되며, 각 claim마다 transcript excerpt를 요구해야 한다고 말한다. 이것은 질적 연구의 투명성을 기계 판정의 입력 조건으로 옮긴 것이다.
인터뷰 요약에서 Judge는 단순히 좋은 요약이라고 말해서는 안 된다. 각 주장마다 전사록 발췌를 인용하도록 요구해야 한다. 근거가 없으면 점수도 없다.
연결된 생각
- 20260625-llm-as-judge-ux-research — 원자료 인용을 LLM Judge의 필수 조건으로 둔다.
- 20260515-robust-qualitative-research-guide — 질적 연구의 신뢰성은 해석 과정의 투명성에서 나온다.
- 20260604-qualitative-rigor-not-quantitative — 질적 엄밀성은 숫자의 양이 아니라 근거 연결의 질이다.