Auto Research를 세 번 돌리고 나서야 이해했다. 도구 문제가 아니었다. 이해 단계를 건너뛴 게 문제였다.
첫 번째 실험: 머신이 테스트 입력을 생성하고, 머신이 judge를 쓰고, 최적화 루프를 밤새 돌렸다. 점수는 올랐다. 스킬은 더 나빠졌다. 루프는 정확하게 돌았다. 틀린 것을 측정했을 뿐이다.
두 번째 실험: Hamel Husain의 eval 스킬로 입력 품질을 높였다. 더 다양한, 차원을 가로지르는 입력이 생성됐다. 하지만 여전히 출력을 직접 읽지 않았다. judge 품질은 변하지 않았다.
세 번째 실험에서 비로소 순서를 이해했다. Gulf of Comprehension(이해의 걸프)은 자동화가 닫을 수 없다. 직접 출력을 읽고, 무엇이 왜 틀렸는지를 느끼고, 그것을 분류해야만 judge를 제대로 쓸 수 있다. judge를 제대로 써야만 Auto Research가 옳은 것을 최적화한다.
더 빨리 가고 싶어서 첫 단계를 건너뛰었다. 결과는 더 효율적으로 틀린 방향으로 달려간 것이었다.
근거
“The challenge with evals is that the objective function is so subjective that you basically cannot get away from setting up the measurement system first manually.”
“I don’t think you can automate your way past understanding. Someone has to close that first gulf, and in my experience, that someone is always you.”
연결된 생각
- 20260527-three-gulfs-of-ai-evals — 이해의 걸프, 명세의 걸프, 일반화의 걸프 전체 모델
- 20260527-machine-generated-criteria-optimize-the-wrong-thing — 첫 번째 실험의 근본 원인