노정석은 자신의 경험을 바탕으로 중요한 실무 교훈을 공유한다. “처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.” 이는 단순한 방법론적 조언을 넘어, 검증 불가능한 데이터 영역에서 사업을 할 때조차도 결국에는 어떻게 성공/실패를 측정할 것인지 정의할 수 있어야 한다는 뜻이다.
즉, 아무리 non-verifiable한 영역이라도, 우리가 만들고자 하는 closed-loop system이 생성할 label(0/1)을 미리 상상할 수 있어야 프로젝트가 방향을 잃지 않는다. 이는 앞서 논의한 “환경이 어떻게 label을 만들 것인가”라는 질문과 직접 연결된다. 반대로, evaluation metric을 상상할 수 없다면 그 프로젝트는 아직 충분히 구체화되지 않은 신호다.
근거
노정석: “처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다. evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서.”
“그러고 나서 깨달음이 생기면 ‘이거 하면 안 되는구나.’ … 새삼스럽게 스스로의 멍청함을 쫙 깨달으면서 뭔가를 하는 거죠.”
연결된 생각
- 20260602-closed-loop-system-as-data-factory — evaluation metric의 정의가 곧 label 생성 환경의 설계로 이어짐.
- 20260602-non-verifiable-data-domain-concept — 검증 불가능 영역에서도 평가 방법을 고민해야 함.