정의
검증 가능성 계층(Verifiability Hierarchy)은 문제의 성공 여부를 명확하고 정량적으로 평가할 수 있는지(verifiable)에 따라 AI의 자동화 가능성과 인간의 개입 필요성이 달라진다는 개념이다. 명확한 평가 기준이 있으면 강화학습(RL) 루프를 통해 AI가 스스로 최적해를 찾을 수 있지만, 평가가 주관적이거나 불가능한 영역(농담, 창의적 취향, 암묵적 판단)에서는 현재 방식으로는 표류(drift)하거나 정체된다.
핵심 속성
- Verifiable tasks: 정량적 평가 가능 (loss 값, 정답 유무, 벤치마크 점수). RL loop 적용 가능. 예: 모델 학습, 코드 작성, 수학 증명, 물리 시뮬레이션.
- Non-verifiable tasks: 주관적·암묵적 평가 필요 (재미, 미적 감각, 취향, 직관). 현재 RL이 커버하지 못함. 예: 농담 창작, 시 쓰기, 디자인 센스, 비즈니스 전략 설정.
- Drift 현상: 검증이 불가능한 영역에서 RL을 적용하면 결과가 목표에서 벗어나 표류함. (Andrej Karpathy의 표현)
- Jagged frontier : AI의 능력은 도메인에 따라 들쭉날쭉(jagged)하며, verifiable한 영역은 초인적 수준, non-verifiable은 기대 이하.
- 하네스 진화: 모델 성능이 향상됨에 따라 verifiable한 영역의 경계가 확장되며, non-verifiable 영역을 새로운 하네스(예: GAN 기반 평가기)로 포착하려는 시도가 지속됨.
관계
- 20260606-humor-is-uncharted-territory-for-ai-and-human-opportunity — non-verifiable 영역의 구체적 사례이자 인간 기회의 증거
- 20260606-reverse-engineering-tacit-knowledge-with-loops — verifiable 변환 시도: 암묵지를 하네스와 인수 조건으로 포착하는 전략
- 추후-생명공학-도메인-진입 — verifiability 확장의 사례 (하위개념)
인용
“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다” — Andrej Karpathy (Sarah Guo 인터뷰 중) “농담은 3~4년 전 모델 수준을 못 벗어난다… RL이 커버하지 못하는 영역이 있다” — 동일 출처
출처
- 📎 클리핑: 20260613-ep98-ko-transcript