노정석이 수개월짜리 AI 실험들을 반복하며 얻은 실전 규칙이다. 모호한 영감으로 엔지니어와 회의하고 토큰을 왕창 태워 뭔가를 만들어도, 결국 모든 것은 evaluation으로 귀결된다. 그래서 순서를 뒤집어야 한다. evaluation metric을 먼저 명확히 정의하고 시작하라. evaluation을 정의한다는 것은 곧 라벨의 0/1을 정의한다는 것과 거의 동치다.
이건 추상적 조언이 아니라 자원 배분 필터다. eval을 상상할 수 없다면 그 영역은 아직 라벨이 없는 영역이고, 라벨이 없으면 개선 방향도 없다. 수개월을 태우기 전에 멈출 수 있는 신호다.
근거
“처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.”
“evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서.”
연결된 생각
- 20260508-no-evals-no-improvement-direction — evals 없이는 개선 방향을 알 수 없다는 같은 원칙
- 20260527-three-gulfs-of-ai-evals — AI eval의 구조적 간극 프레임워크
- 20260602-non-verifiable-to-verifiable-closed-loop — eval 정의 가능성 = 라벨 생성 가능성 = 사업 가능성