평가자의 그림자: LLM 평가에서 인간의 은폐된 역할
문제의식
LLM 평가 논의는 항상 모델의 ‘객관적’ 능력에 초점을 맞추지만, 평가를 설계하고 해석하는 인간 평가자의 주관적 요소는 체계적으로 은폐된다. 이 글은 평가자의 ‘그림자(the shadow)‘—의식적/무의식적 편향, 권력 관계, 인식론적 한계—를 드러낸다.
핵심 통찰: 평가는 모델이 아니라 평가자를 반영한다
1. 평가자의 무의식적 편향
- 평가 문항 설계에는 평가자의 문화적, 언어적, 인식론적 가정이 내재됨
- ‘객관적’으로 보이는 평가 기준도 특정 세계관을 반영함
- 예: ‘상식 추론’ 평가는 서구적 상식에 기반할 가능성이 높음
2. 권력으로서의 평가
- 누가 평가할 자격이 있는가? (기업? 학계? 커뮤니티?)
- 평가 결과는 누구에게 유리한가? (특정 연구실? 특정 접근법?)
- 평가 프레임을 결정하는 것은 곧 지식의 권력을 행사하는 것
3. 평가자의 인식론적 한계
- 인간은 모델의 ‘이해’ 방식을 완전히 알 수 없음 (explainability-gap)
- 따라서 평가는 인간의 인식론적 프레임에 갇힌 **투영(projection)**에 불과할 수 있음
- 이는 20260613-llm-evaluation-as-performative-mirror의 심층적 원인: 평가는 모델이 아니라 평가자의 그림자를 반사함
4. 평가자의 그림자와의 대면
- 평가자는 자신의 편향과 한계를 인정해야 함
- ‘객관적 평가’라는 신화를 포기하고, 평가를 상호주관적 과정으로 재정의
- 평가자의 그림자 작업(shadow work)이 필요: 자신의 가정, 편향, 권력 위치를 지속적으로 반성
함의
- 평가의 민주화: 다양한 관점과 가치를 가진 평가자 집단의 참여 필요
- 평가의 투명성: 평가 과정과 평가자의 위치를 명시적으로 공개
- 메타-평가의 필요성: 평가자 자신을 평가하는 제도적 장치 마련
연결 노트
- 20260613-llm-evaluation-as-performative-mirror: 평가의 수행성 개념
- evaluator-bias: 평가자 편향 연구
- critical-ai-studies: 비판적 AI 연구
- explainability-gap: 설명 가능성의 한계
이 관점은 평가의 ‘객관성’ 신화를 해체하고, 평가자 자신이 얼마나 평가 과정에 깊이 관여되어 있는지를 드러낸다. 진정한 평가는 모델을 측정하는 것이 아니라, 평가자 자신의 그림자와 대면하는 과정이다.