녹색 화장품 조합을 ‘좋아/싫어’라고 평가하는 고객의 클릭 한 번, 또는 자율주행 중 운전자가 핸들을 급히 돌린 순간 — 이런 행동은 본래 주관적이고 검증 불가능한 데이터다. 노정석은 이런 데이터를 수집하는 환경 자체가 제품이어야 한다고 말한다. 즉 AI 서비스가 단순히 LLM을 래핑하는 것이 아니라, 사용자와의 상호작용을 통해 label을 생성하는 폐루프 시스템으로 설계되어야 한다는 뜻이다.
근거
노정석은 자신의 회사에서 메이크업 데이터셋을 만드는 방식을 설명한다. 알고리즘으로는 판단 불가능한 조합에 대해 고객에게 직접 ‘좋아/싫어’ 피드백을 받아 label을 생성한다. 이렇게 만들어진 데이터는 LLM이 인터넷에서 긁어올 수 없으며, 오직 그 서비스 환경에서만 누적된다.
“non-verifiable을 verifiable로 바꿔주는 이 closed-loop system이구나 … AI 서비스나 simulator를 뭐라고 정의하면 될까? ‘non-verifiable을 verifiable로 바꿔주는 이 closed-loop system’이라고 저는 이렇게 정의했어요.”
연결된 생각
- 20260607-escape-to-non-verifiable-domain — 왜 이런 시스템이 필요한지에 대한 전략적 배경
- environment-as-trainable-object — 강화학습에서 환경도 학습 대상이 되는 개념 (open-endedness와 연결)
- data-flywheel — 이러한 시스템이 장기적 moat을 창출하는 작동 원리