정의
검증 가능한 보상 신호(Verifiable Reward Signal)는 AI 시스템이 외부 피드백 없이 스스로 성능을 평가하고 개선 방향을 결정할 수 있게 하는 명확하고 자동화된 평가 메트릭이다. 이는 자기 증강 학습(self-augmenting learning)이 작동하기 위한 필수 조건으로, 보상이 모호하거나 평가 비용이 높은 도메인에서는 AI의 자율적 발전 속도가 현저히 느려진다.
핵심 속성
- 명확성(Unambiguity): 보상 신호는 이진(true/false) 또는 연속적이지만 인간의 해석이 필요 없을 정도로 명확해야 한다.
- 자동화 가능성(Automatability): 평가 과정이 전산화되어 있어 AI가 반복적으로 측정하고 학습에 즉시 반영할 수 있어야 한다.
- 도메인 의존성(Domain Dependency): 보상 신호의 검증 가능 여부는 도메인의 특성에 크게 의존한다. 바둑, 수학 증명, 코드 컴파일 등은 검증이 쉽지만, 반도체 설계나 창작 영역은 평가에 오랜 시간과 전문가 판단이 필요하다.
관계
- 20260603-alpha-go-self-play — 상위개념: AlphaGo의 self-play는 바둑 승패라는 검증 가능한 신호를 통해 강화학습을 가능하게 했다.
- 20260603-reinforcement-learning-from-verifiable-reward — 연장: RLVR은 이 개념을 일반화하여 rule-based reward로 LLM을 정렬한다.
- 20260603-autoresearch — 연장: Autoresearch는 검증 가능한 평가 하네스 위에서 연구 가설을 자동으로 반복 검증한다.
인용
“verifiable하게만 바꾸면 많은 것들이 해결될 것 같다.” — 노정석 (팟캐스트 중)
“지금의 선구자들은 가능성을 보여주면 뒤에서 큰 것들이 몰려오면서 그 시장을 다 먹어버리는 게 계속 반복된다.” — 이진원 CTO (동일 출처, 검증 가능한 영역에서의 승자 독식 현상)