2025년 현재, 프런티어 모델은 수학·과학·코딩에서 test-time compute와 distillation으로 데이터를 무한 생성한다. 스타트업이 이들과 경쟁하려면 그들이 자동 생성할 수 없는 데이터 영역으로 가야 한다. 노정석은 그 영역의 핵심을 “환경(environment)”이라고 정의한다. 시뮬레이터, 제품 내 피드백 루프, 사용자 행동 관찰 모두 환경이다.
핵심은 단순하다: 환경이 없으면 label이 없다. label이 없으면 RL도 SFT도 불가능하다. 따라서 데이터 전략의 모든 것은 “어떻게 하면 non-verifiable domain에서 verifiable label을 뽑아낼 수 있는 닫힌 환경을 만들까”로 귀결된다. 이 관점으로 바라보면 Cursor조차도 사용자 코딩 행동이라는 환경에서 label을 수집하는 2번 전략의 일부이며, 단순한 래퍼가 아니다.
근거
“시스템은 무언가 특정한 vertical domain과 결합된 simulator이거나 AI 서비스이겠구나. … evaluation metric을 먼저 명확하게 정의해 두고, evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 같은 거다.”
연결된 생각
- 20260607-non-verifiable-data-domain — 개념적 배경
- 20260605-non-verifiable-closed-loop-moat — 동일 추론에서 나온 moat 통찰
- evaluation-first-design — 평가가 곧 label, label이 곧 환경
- simulator-as-dataset-generator — 시뮬레이터가 비용을 낮춘 사례