AI를 도입할 때 가장 흔히 저지르는 실수는 이를 완벽한 자동화 도구로 보는 것이다. Ethan Mollick이 지적했듯, 기업들은 AI를 ‘de-weird(이상한 점 제거)‘하려는 시도에 몰두하며 정작 AI의 진정한 변혁적 가치를 낭비하고 있다. 연구 시스템 아키텍트라면 이 함정을 피해야 한다.
핵심은 AI를 ‘계산기’나 ‘자동화 파이프라인’이 아닌, ‘스파링 파트너’로 사용하는 데 있다. 실제 실험에서 저자는 에이전트가 분석한 결과를 수석 연구원의 수동 분석 결과와 비교했을 때, 양측 모두 놓친 부분이 있음을 발견했다. 연구자는 심리적 장면 설정만 기록하고 실제 의사결정 트리거를 놓친 반면, 에이전트는 연구자의 유도 질문을 감지하지 못해 참가자의 응답을 무효화해야 하는 상황을 놓쳤다. 이는 인간과 기계 모두 오류를 범할 수 있으며, AI를 oracle처럼 신뢰하기보다 상호 교정의 도구로 사용해야 함을 보여준다.
근거
“In one experiment, I configured individual agents to analyze a set of research interview transcripts, then presented the output to a senior researcher who had already manually analyzed the same data. After comparing the machine’s work alongside their own, they noticed several artifacts they had missed, as well as several the agent had missed.”
“Rather than an error-prone automator, AI becomes a vital structural critic, positioned to point out researchers’ natural human biases.”
자동화 편향(automation bias)은 AI 시대의 가장 큰 위험 중 하나다. LLM은 형식적으로 구조화된 출력을 모방하는 데 능숙하지만, 그것이 곧 올바른 분석을 의미하지는 않는다. 연구자는 AI의 출력을 무비판적으로 수용하기보다, AI를 자신의 분석 기준을 테스트하고 교정하는 도구로 사용해야 한다. 이 관점의 전환이 에이전틱 시스템의 진정한 가치를 끌어낸다.
연결된 생각
- 20260608-agentic-research-governance-challenge — AI를 oracle이 아닌 mirror로 사용하려면 거버넌스 체계가 필수적임.
- automation-bias-in-qualitative-research — 연구에서 자동화 편향이 어떻게 발생하는지 분석.