AI 스킬 개선 도구인 Auto Research가 기계가 쉽게 측정하는 척도에 최적화되도록 유도한다는 사실을 깨달았다. 저자는 세 번의 시행착오 끝에 “누군가는 직접 데이터를 보고 실패를 이해하는 Gulf of Comprehension을 닫아야 한다”는 결론에 도달한다. 이 통찰은 평가 자동화를 논할 때 빠지기 쉬운 함정을 정확히 짚는다: 도구가 아무리 뛰어나도 인간이 현장에서 실패 패턴을 관찰하지 않으면 도구는 엉뚱한 방향으로 최적화된다.
근거
저자는 첫 번째 시도에서 Auto Research가 스스로 생성한 판정자로 최적화를 돌렸다. 점수는 올랐지만 실제 스킬은 개선되지 않았다. 머신이 만든 기준은 진짜 실패를 반영하지 못했기 때문이다. 두 번째 시도에서는 Hamel Husain의 체계적인 평가 스킬을 도입해 입력 공간을 더 잘 커버했지만, 여전히 저자가 직접 출력을 읽지 않았다. “LLM was still vibing it.” 세 번째 시도에서야 Evals Course Reader를 읽고 Three Gulfs의 개념을 이해했다. 특히 다음과 같은 문장이 핵심이다: “If you are not willing to look at some data manually on a regular cadence you are wasting your time with evals.”
“I don’t think you can automate your way past understanding. Someone has to close that first gulf, and in my experience, that someone is always you.”
연결된 생각
- 20260527-error-analysis-three-gulfs — 이 프레임워크의 정의와 5단계 에러 분석 프로세스
- 20260527-product-management-parallel-three-gulfs — 같은 함정이 제품 관리에서도 어떻게 나타나는지