정의
검증-주도 자동화란, 목표와 결과물에 대한 명확하고 측정 가능한 평가 기준(verifiable evaluation)이 존재할 때, 컴퓨팅 자원과 강화학습 루프를 통해 해당 도메인의 문제를 자동으로 최적화할 수 있다는 원리다. 평가가 불가능한 영역에서는 시스템이 표류(drift)하거나 의미 있는 진전을 이루지 못한다.
핵심 속성
- 평가 메트릭의 존재: 목표 달성 여부를 scalar 값으로 환산할 수 있어야 함 (예: loss 값, 정확도, OKR의 Key Results)
- 명확한 목표 정의: 목표는 모호하지 않고 행동을 유도할 수 있어야 함 (manifest의 형태)
- RL 루프: 모델이 시도-평가-수정을 반복하며 최적해를 찾아감 (Auto Research, Ralph loop)
- 표류 위험: 검증이 어려운 영역(농담, 미적 판단, 전략적 직관)에서는 루프가 효과적으로 작동하지 않음
관계
- 20260603-verifiable-domain-human-value — 연장 (검증 가능/불가능 영역의 가치 차이)
- 20260603-why-jokes-fail-ai — 하위개념 (검증 불가능 사례로서의 농담)
- 20260603-tacit-knowledge-harnessing-advantage — 연장 (검증 가능성의 확장을 통한 경쟁력 창출)
- auto-research — 하위개념 (검증-주도 자동화의 구체적 구현체)
인용
“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다” — Andrej Karpathy (ep92-ko-transcript)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript