Auto Research의 문제는 도구가 나쁜 게 아니었다. 도구는 정확하게 작동했다. 수백 번의 실험을 돌렸고, 주어진 기준에 맞게 스킬을 개선했다. 문제는 그 기준이 틀렸다는 것이다.
머신이 생성한 테스트 입력과 judge는 실제 실패를 본 적이 없다. 실제 사용에서 무엇이 망가지는지, 어떤 엣지케이스가 중요한지, 어떤 출력이 “느낌적으로” 틀린지를 머신은 모른다. 그래서 머신은 자기가 알 수 있는 것만 측정한다. 그것이 실제로 중요한 것일 수도 있고, 아닐 수도 있다.
이것은 PM의 제품 결정 오류와 구조가 같다. 사용자 행동을 직접 보지 않고 metrics를 정한다. 그 metrics를 향해 열심히 달린다. 실제 사용자 문제는 해결되지 않는다. “Discovery 없이 Solution” 패턴이다.
해결책은 자동화 도구를 버리는 게 아니다. 순서다. 먼저 실패를 직접 본다. 분류한다. 그것을 기준으로 judge를 쓴다. 그 다음에 자동화한다. 자동화는 이해를 대체할 수 없다. 이해를 가속할 수 있을 뿐이다.
근거
“The problem wasn’t the tool. Auto Research did exactly what it was designed to do: run a systematic optimization loop against whatever criteria you give it. The issue was the criteria. They were machine-generated with no model of what real failure looked like.”
연결된 생각
- 20260527-three-gulfs-of-ai-evals — Gulf of Specification이 이 실패가 일어나는 구조
- 20260527-you-cannot-automate-your-way-past-comprehension — 이 문제의 유일한 해결책