정의
AI 에이전트가 성공적으로 자동화할 수 있는 작업은 명확히 정의 가능한 평가 지표(Verifiable Metric)가 존재하는 영역으로 제한되며, 검증이 불가능하거나 측정 기준이 모호한 영역에서는 결과가 표류(Drift)하거나 성능이 불규칙(Jagged)하게 나타난다.
핵심 속성
- Verifiability (검증 가능성): 작업의 성공 여부를 명확히 측정할 수 있는가? (예: Loss 값, 벤치마크 점수, 인수 테스트 통과 여부). 이 속성이 존재할 때 Auto-Research 루프는 강력히 작동함.
- Drift (표류): 검증 기준이 불명확한 작업에서 모델이 방향성을 잃고 무의미한 출력을 반복하거나 원래 목표에서 벗어나는 현상.
- Jagged Frontier (들쭉날쭉한 성능 곡선): 같은 모델이라도 작업별로 성능 편차가 극심함. (예: 수학 증명은 초인간적, 농담 생성은 3~4년 전 수준)
- 비대칭적 자동화 가능성: Verifiable 영역은 컴퓨팅과 RL로 쉽게 정복되지만, Non-verifiable 영역은 인간의 개입(가치 함수 정의, 취향 평가)이 필수적임.
관계
- auto-research-loop — Auto-Research는 Verifiability를 전제로 한 최적화 루프
- rl-verification — 강화학습의 보상 신호는 Verifiable Metric에 의존
- human-tacit-knowledge — 검증 불가능한 영역에서 요구되는 인간의 암묵지
- jagged-frontier-ai — AI 능력의 불균일성에 대한 개념
인용
“목표가 명확히 되고 그 목표에 대한 결과물의 evaluation을 확실하게 할 수만 있다면, 그 중간에 있는 것이 문서든 연구든 GPT 레포든 모델이든 어떤 형태로든 LLM을 투입해서 토큰을 투입해서 최적화, optimize 할 수 있다.” “검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다, 표류한다는 표현을 썼다.” “Andrej Karpathy가 생각하기에 이것은 현재 RL이 커버하지 않는 영역인 것 같다는 것이죠. 그런 영역들이 꽤 있고 그래서 능력이 들쭉날쭉한 것 같다는 이야기를 합니다.”