우리는 지루하고 반복적인 ‘데이터 읽기’를 피하기 위해 AI 자동화 툴을 사용하려 한다. 하지만 시스템이 왜 실패하는지에 대한 인간의 직관적인 모델(Mental Model of Failure)이 형성되지 않은 상태에서 수행하는 자동 최적화는 치명적인 부작용을 낳는다. 기계는 인간이 설정한 잘못된 평가 기준(명세의 간극)을 완벽하게 충족시키는 방향으로 최적화하며, 이는 실제로는 시스템을 더 망가뜨리는 결과를 초래한다.
근거
조지(George)의 실험 사례에 따르면, 기계가 생성한 테스트 입력과 평가 기준을 그대로 사용했을 때 점수는 상승했지만 실제 성능은 더 나빠졌다. 이는 ‘실패가 무엇인지’에 대한 모델 없이 기계가 자신의 기준을 스스로 만족시켰기 때문이다.
“루프는 수백 번의 실험을 수행했고 그 기준을 만족시키는 데 매우 능숙해졌다. 스킬은 엉뚱한 방향으로 더 좋아졌다.”
연결된 생각
- 20260527-three-gulfs-of-evals — 이 통찰의 이론적 기반이 되는 세 가지 격차 모델
- 20260527-pm-comprehension-gap-analogy — 이 원칙이 제품 관리(PM) 분야에서 어떻게 반복되는가