정의
Non-Verifiable Data Domain은 알고리즘이나 자동화된 방법으로 참/거짓을 명확히 판별할 수 있는 reward function(검증 가능한 보상 함수)을 구성할 수 없는 데이터 영역이다. 이 영역에서 생성된 데이터는 프론티어 모델이 합성 데이터로 대체할 수 없으며, 인간의 주관적 판단이나 실제 환경과의 상호작용을 통해서만 확보 가능하다. AI 스타트업이 프론티어 모델(OpenAI, Google 등)과 경쟁하기 위해 도피해야 할 유일한 지속 가능한 공간으로 제시된다.
핵심 속성
- Verifiability (검증 가능성): 해당 데이터가 정답인지 여부를 automated system이 판별할 수 있는가? Non-verifiable은 그렇지 않음.
- Closed-Loop System: 환경(서비스 또는 시뮬레이터)과 사용자/에이전트의 상호작용을 통해 label(0/1)이 자연스럽게 생성되는 구조. 이 구조가 non-verifiable 데이터를 verifiable로 전환하는 핵심 메커니즘.
- Data Source 차별성: 프론티어 모델이 weight에 내장한 지식으로는 도출할 수 없는, 특정 도메인(취향, 미용, 로봇 조작 등)의 맥락 의존적 피드백.
- Synthetic Data 대체 불가능: prompt engineering이나 agent orchestration만으로는 참과 거짓이 명확한 합성 데이터를 생성할 수 없음.
- Moat 역할: 시간이 지날수록 데이터가 축적되고 모델 성능이 향상되는 data flywheel이 작동하여 경쟁자 진입을 어렵게 만듦.
관계
- data-flywheel-concept — Non-Verifiable Data Domain은 Data Flywheel의 실제 작동 조건을 구체화한 상위 개념
- verifiable-reward-function — 대비되는 개념; verifiable 영역(수학, 코딩)은 프론티어 모델이 자동 생성 가능
- closed-loop-system-in-ai — Non-Verifiable Data를 Verifiable로 전환하는 구체적인 메커니즘
- proprietary-data-moat — Non-Verifiable Data Domain의 실천적 결과물로서의 데이터 독점성
- test-time-compute-scaling — Verifiable 영역에서의 강력한 능력과 대비되어 Non-Verifiable의 중요성이 부각됨
인용
“알고리즘적 방법으로 검증 가능한 reward function을 만들 수 없는 영역. … 이런 부분들이 prompt work이나 agent를 잘 조합하는 걸로 아무리 잘 조합해도 참과 거짓이 명확한 synthetic data를 잘 생성할 수 없는 영역들이 여기에 포함된다.” — 노정석
“non-verifiable을 verifiable로 바꿔주는 이 closed-loop system이구나.” — 노정석