AI 엔지니어가 출력값(Output)을 읽지 않고 이벨(Evals)만 돌리는 것은, 제품 관리자(PM)가 사용자와 대화하지 않고 데이터 대시보드의 숫자만 보고 의사결정을 내리는 것과 같다. 숫자는 현상을 요약할 뿐, 현상의 원인을 설명하지 못한다. 사용자가 실제로 어디서 왜 좌절하는지에 대한 ‘이해의 간극’이 존재하는 상태에서 도입되는 모든 기능과 지표는 본질적인 문제를 해결하지 못한 채 겉돌게 된다.
근거
엔지니어링의 에러 분석(Error Analysis) 과정인 Open coding(자유 노트 작성)과 Axial coding(분류 체계 수립)은 사실상 질적 연구 방법론이다. 이는 제품 관리에 있어서 고객 인터뷰를 직접 읽고 고충의 유형을 분류하는 과정과 정확히 일치한다.
“PM들도 똑같은 짓을 한다: 수동적인 이해 단계를 건너뛰고, 솔루션이나 성공 지표로 점프하며, 실제 문제를 반영하지 못하는 기준에 따라 열심히 측정한다.”
연결된 생각
- 20260527-automation-optimization-vs-comprehension — 이해가 결여된 기술적 최적화의 위험성