노정석은 자신의 경험을 바탕으로 “처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다”고 말한다. 이는 단순한 개발 원칙이 아니라, non-verifiable domain에서 데이터를 생성하는 closed-loop system을 설계하기 위한 필수 조건이다. 평가 지표를 정의한다는 것은 결국 ‘무엇이 정답인지’를 결정하는 것이며, 이는 데이터의 label(0/1)을 정의하는 것과 같다. 시뮬레이터나 사용자 피드백 루프 같은 환경을 구축하기 전에, 우리가 측정하려는 것이 무엇인지 명확히 해야 그 환경이 올바른 신호를 생성할 수 있다. 따라서 evaluation-first 접근법은 단순한 모범 사례를 넘어, AI 비즈니스에서 데이터 생성 환경을 의도적으로 설계하는 전략적 도구다.
근거
“처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다. 그래서 evaluation metric을 먼저 명확하게 정의해 두고, evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서, 그러고 나서 깨달음이 생기면 ‘이거 하면 안 되는구나.‘”
연결된 생각
- 20260607-non-verifiable-data-domain-concept — 개념적 배경
- 20260607-data-moat-is-environment-design — 환경 설계의 구체적 방법으로 이어짐
- 20260607-only-refuge-is-non-verifiable-domain — 전략적 선택과 연결