스피커는 수많은 실험과 실패 끝에 얻은 교훈을 공유한다: “처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.” 이 말은 단순한 방법론을 넘어, AI 시대 비즈니스의 본질을 꿰뚫는다. 평가 지표(evaluation metric)를 명확히 정의한다는 것은 곧 데이터의 ‘참/거짓’을 판별할 수 있는 기준을 세운다는 뜻이며, 이는 non-verifiable 영역을 verifiable 영역으로 전환하는 첫걸음이다. 많은 스타트업이 ‘멋진 아이디어’나 ‘최신 모델’에 집중하지만, 자신의 서비스에서 ‘무엇이 성공이고 실패인지’를 정량화할 수 있는 환경을 먼저 설계하지 않으면 아무리 좋은 기술도 방향성을 잃는다.
근거
“사실 그러고 나서는 결국은 다 모든 게 evaluation으로 귀결되는데, 그러면서 느끼는 거 있죠. ‘처음에 evaluation 틀이 명확하게 상상 안 되는 프로젝트는 시작하면 안 된다.’ 그래서 evaluation metric을 먼저 명확하게 정의해 두고, evaluation metric을 명확하게 정의한다는 것 자체가 사실은 label의 0, 1이 정해진다는 얘기랑 또 약간은 동치인 거라서, 그러고 나서 깨달음이 생기면 ‘이거 하면 안 되는구나.‘”
연결된 생각
- 20260606-non-verifiable-data-domain — 평가 불가능에서 평가 가능으로의 전환이 개념의 핵심
- 20260606-flee-to-non-verifiable-domain-for-startups — 전략 수립 시 평가가 어떻게 방향을 결정하는지
- 20260512-data-flywheel-metrics — 데이터 플라이휠에서 평가 지표가 순환을 시작하는 지점