정의

알고리즘적으로 명확한 reward function을 정의할 수 없는 데이터 영역. 주관적 판단, 취향, 맥락, 미적 감각 등 기계가 참/거짓을 고유하게 결정하기 어려운 도메인을 말한다. 프런티어 모델이 synthetic data를 자동 생성할 수 없으며, 오직 인간의 피드백이나 실제 환경에서의 closed-loop 상호작용을 통해서만 label을 얻을 수 있다.

핵심 속성

  • Verification 불가능성: 명시적인 정답이 없어 algorithmic reward를 부여할 수 없음.
  • 인간 참여 필수: label은 인간의 판단, 선호, 또는 환경 반응을 통해 생김.
  • 환경 의존성: closed-loop system (서비스, 시뮬레이터) 없이는 데이터를 생성·수집할 수 없음.
  • Moat 형성: 프런티어 모델이 쉽게 복제할 수 없는 proprietary data의 실질적 원천.

관계

인용

“검증 불가능한 영역으로 도망가면 되겠구나. … 프런티어 모델들은 굉장히 많은 양의 verifiable data domain을 다 외우고 있고 이해하고 있을 뿐만 아니라, 검증 가능한 영역은 스스로 탐색할 수 있다. 따라서 검증 불가능한 영역에서만 진정한 차별화가 가능하다.”

출처

클리핑 · youtu.be