정의

검증 가능한 평가(verifiable evaluation)는 목표에 대해 명확하고 측정 가능한 지표(scalar metric)가 존재할 때, AI 에이전트가 자율적으로 최적화 루프(auto research loop)를 수행할 수 있게 하는 원리이다. 이는 강화학습(RL)의 보상 신호와 유사하게 작동하며, 목표를 search problem으로 변환하여 컴퓨팅 자원을 투입해 해결하는 패러다임의 핵심 동력이다.

핵심 속성

  • 명확한 목표: 평가 지표가 scalar 값으로 정의되어야 하며, loss, 정확도, 수익률 등 수치화 가능해야 함.
  • 자동 피드백: 중간 결과물에 대해 즉각적이고 객관적인 피드백이 가능해야 함.
  • 탐색 공간: 문제가 search problem으로 변환 가능해야 하며, RL 환경과 유사한 구조여야 함.
  • 한계: 농담, 취향, 창의적 글쓰기의 미묘한 부분 등 주관적이고 정성적인 영역은 현재 verifiable metric으로 포착하기 어려움. 이러한 영역에서는 에이전트가 drift(표류)하는 현상이 나타남.

관계

인용

“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다.” — Andrej Karpathy (Sarah Guo 인터뷰 중) “농담을 시키면 최신의 모델도 3~4년 전 모델이 하는 정도의 농담을 벗어나지 못합니다. Andrej Karpathy가 생각하기에 이것은 현재 RL이 커버하지 않는 영역인 것 같다는 것이죠.” — 동일 출처

출처

클리핑 · youtube.com