노정석의 핵심 실천적 통찰은 하나로 압축된다: “처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.” 이 말은 AI 스타트업의 제품 설계 원칙으로 확장될 수 있다. 당신이 만들 서비스가 어떤 데이터를 생성할 것이며, 그 데이터가 어떻게 ‘자연스럽게 label되는가’를 먼저 설계하라는 뜻이다.
전통적인 생각은 ‘좋은 서비스를 만들면 데이터가 쌓인다’는 것이다. 하지만 이제는 반대다. ‘어떤 데이터가 쌓일 것인가’를 먼저 설계하고, 그 데이터를 생성하는 서비스를 만든다. 이 차이가 곧 생존의 차이다.
저자가 제시하는 구체적인 메커니즘은 ‘closed-loop system’이다. 환경(서비스 인터페이스, 로봇 시뮬레이터, 사용자 피드백 채널)과 에이전트(사용자, 모델)가 상호작용할 때, 그 상호작용의 결과로 0/1의 label이 자연발생적으로 생겨나는 구조다. 테슬라의 예가 가장 명확하다: 차량 카메라(환경) + 운전자의 급제동/오토파일럿 해제(행동) = 자율주행 학습 데이터(label). 여기에는 인간 레이블러가 필요 없다. 시스템 자체가 label을 생성한다.
스타트업이 이 원칙을 적용하는 방법은 간단하다. ‘이 서비스를 사용하는 행위 자체가 label을 남기는가?‘라는 질문을 제품 설계의 첫 번째 기준으로 삼아야 한다. 예를 들어 메이크업 추천 서비스는 사용자가 ‘좋아요/싫어요’를 누르는 순간 취향 데이터에 label이 붙는다. 반면 단순히 정보를 제공하는 챗봇은 어떤 label도 남기지 않는다. 후자는 프론티어 모델이 언제든 대체할 수 있는 ‘래퍼’에 불과하다.
이 관점은 또한 평가(evaluation)의 중요성을 재확인한다. 프로젝트를 시작하기 전에 ‘이 서비스가 생성할 데이터가 어떻게 검증될 것인가’를 명확히 할 수 없다면, 그 프로젝트는 시작하지 말아야 한다. evaluation metric을 정의한다는 것 자체가 label의 0/1을 정의하는 것과 동치이기 때문이다.
근거
“무언가 검증 가능한 reward function을 만들 수 있는 영역, 어떻게 algorithmic한 방법으로 이 verifiable reward function을 만들 수 있는 영역들은 … dataset이 완전히 reinforcement learning을 통해서 다 자체 생성되는 영역으로 넘어간 것 같아요.”
“이런 환경만이 뭔가 성공이든 실패든 0, 1의 label을 줄 수 있다. 그리고 이런 환경이 없다면 절대 무언가 얻을 수 없는 거죠.”
“처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.”
연결된 생각
- 20260606-verifiability-is-the-real-moat-of-ai-business — 왜 verifiability가 해자의 본질인지
- data-flywheel-concept — closed-loop system이 data flywheel을 지속 가능하게 만드는 조건