우리는 흔히 ‘독점 데이터(proprietary data)‘가 AI 비즈니스의 해자라고 말한다. 하지만 이 말은 너무 모호하다. 노정석의 통찰은 이 모호함을 한 단계 깨부순다. 진짜 해자는 데이터 자체의 양이나 규모가 아니라, 그 데이터가 ‘검증 가능한가(verifiable)‘의 여부에 달려 있다.
수학 문제, 코딩 버그, 과학 실험 결과 — 이런 것들은 정답이 명확하다. 즉 verifiable reward function을 세울 수 있다. 그리고 DeepSeek R1과 OpenAI o1이 증명했듯, 이런 영역은 프론티어 모델이 test-time compute만 투입하면 스스로 데이터를 무한 생성할 수 있다. 다시 말해, 여기서의 ‘독점 데이터’는 착각에 불과하다. 당신이 열심히 모은 수학 문제 풀이 데이터셋은 내일이면 reasoning model이 만들어낸 합성 데이터로 대체될 수 있다.
진짜 해자는 ‘검증 불가능한(non-verifiable) 영역’에 있다. 예를 들어 화장품 조합에 대한 개인의 취향, 자율주행 중 운전자가 급제동하는 맥락, 로봇이 포도를 접시에 옮기는 동작의 적절성 — 이런 것들은 외부에서 정답을 알 수 없다. 오직 실제 환경과의 상호작용, 즉 인간의 피드백이나 물리적 시뮬레이션을 통해서만 label이 생성된다.
이것이 프론티어 모델이 절대 흉내낼 수 없는 영역이다. 그들은 인터넷의 텍스트를 외울 수는 있어도, 당신의 서비스가 만들어내는 ‘좋아요/싫어요’ 클릭 한 번의 맥락까지는 알 수 없다. 비즈니스적으로 말하면, 당신이 만들어야 하는 것은 ‘데이터를 수집하는 서비스’가 아니라 ‘데이터의 검증 환경을 설계하는 서비스’다.
근거
“알고리즘적 방법으로 검증 가능한 reward function을 만들 수 없는 영역. … 이런 부분들이 prompt work이나 agent를 잘 조합하는 걸로 아무리 잘 조합해도 참과 거짓이 명확한 synthetic data를 잘 생성할 수 없는 영역들이 여기에 포함된다.”
“이러한 AI 서비스는 그 프런티어 모델의 강력한 성능 위에 그냥 래퍼로 올리는 것과는 좀 다르다.”
연결된 생각
- 20260606-closed-loop-system-for-data-generation — 왜 closed-loop system이 non-verifiable 데이터를 만드는 유일한 방법인지
- data-flywheel-concept — verifiability가 data flywheel의 지속 가능성을 결정한다