프론티어 모델의 성능이 급속도로 향상되면서, ‘더 좋은 모델’을 만드는 것보다 ‘어떤 환경에서 데이터가 생성될 것인가’를 설계하는 일이 더 중요한 경쟁력으로 부상하고 있다. 노정석은 시뮬레이터(예: NVIDIA Omniverse)나 메이크업 추천 서비스 같은 closed-loop 환경이 non-verifiable 데이터를 verifiable로 바꾸는 핵심 인프라라고 설명한다. 이 같은 환경은 인간의 피드백을 레이블로 변환하고, 그 레이블이 다시 AI를 훈련시키는 선순환을 만든다. 따라서 스타트업의 진짜 기술력은 모델 성능 최적화가 아니라, ‘사용자로부터 자연스럽게 레이블을 얻는 경험 디자인’에 있다. 이는 전통적인 ML Ops와 달리, 제품과 AI 시스템의 경계를 허무는 새로운 패러다임이다.
근거
“그런데 이런 부분들이 또 뭐로 다시 쓰일 수 있냐면 이 prompt work이나 agent를 잘 조합하는 걸로 아무리 잘 조합해도 참과 거짓이 명확한 synthetic data를 잘 생성할 수 없는 영역들이 여기에 포함돼요.”
“처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다. evaluation metric을 먼저 명확하게 정의해 두고, evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서”
연결된 생각
- 20260606-non-verifiable-data-domain — 개념의 closed-loop 의존성 속성과 직접 연결.
- 20260606-cursor-product-lesson — 제품 디자인과 데이터 생성 환경의 예시. (Cursor가 어떻게 사용자 피드백을 데이터로 전환하는지)