노정석은 “non-verifiable을 verifiable로 바꾸는 closed-loop system”이라는 추상적 전략을, 결국 매우 실무적인 한 문장으로 환원한다. 어떤 AI 프로젝트를 할지 말지 결정하는 기준은 evaluation metric을 처음에 명확히 상상할 수 있느냐다. 전략과 실행이 같은 동전의 양면임을 보여주는 대목이다.
근거
수많은 프로젝트를 엔지니어들과 몇 개월씩 돌려본 끝에 그가 얻은 결론은 “모든 게 결국 evaluation으로 귀결된다”는 것이었다. 그리고 evaluation metric을 명확히 정의한다는 것은 곧 label의 0/1이 정해진다는 것과 거의 동치다. 즉 평가 틀이 안 그려진다는 것은 그 도메인을 verifiable하게 만들 환경이 아직 없다는 신호다.
“처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다. (…) evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서.”
연결된 생각
- 20260602-non-verifiable-to-verifiable-closed-loop — 이 판단 기준이 작동하는 상위 전략 프레임
- 20260602-if-you-cant-imagine-the-eval-dont-start-the-project — 같은 통찰의 또 다른 각도
- 20260527-three-gulfs-of-ai-evals — evals가 AI 제품 개선의 중심이라는 일반 원리