설명 가능성(Explainability)은 보통 신뢰 문제로 다뤄진다. 블랙박스는 불안을 낳고, 불안은 불신이 되고, 불신하면 안 쓴다 — pxd도 이 경로를 그린다. 하지만 이들은 여기서 한 단계 더 나간다. AI를 쓸 때의 위험은 불신만이 아니라 과신이라는 것이다.
자동화 편향(Automation Bias). AI 제안을 비판적으로 검토하지 않고 그대로 수용하는 경향이며, 그 결과는 실무자 자신의 판단력 약화다. 특히 UX 라이팅처럼 맥락적 판단이 본질인 영역에서는 편향의 대가가 크다.
근거
자동화 편향을 막는 가장 효과적인 UX 설계는, AI가 ‘결정’하는 것이 아니라 ‘제안’하도록 만드는 것입니다. (…) AI는 선택지를 제시하고, 판단은 사람이 합니다.
이 관점에서 보면 Writone의 세 원칙이 다르게 읽힌다. 투명성(근거 페이지 노출)과 설명 가능성(교정 이유 제시)은 사용자를 안심시키려는 장치가 아니다. 사용자가 비판적으로 검토할 수 있게 만드는 인지적 재료 공급이다. 근거가 보이지 않으면 검토할 대상 자체가 없고, 검토할 게 없으면 수용밖에 남지 않는다.
그래서 나는 설명 가능성을 신뢰 확보 수단이 아니라 전문성 유지 조건으로 재분류한다. AI가 근거를 보여주지 않는 도구는 신뢰를 못 얻는 데서 끝나는 게 아니라, 신뢰를 얻는 순간 사용자의 판단력을 잠식한다. 후자가 더 조용하고 더 위험하다.
연결된 생각
- 20260612-expert-distrust-summaries — 근거 없는 결과물을 전문가가 본능적으로 불신하는 이유
- 20260612-ai-ease-trap — AI의 편리함이 검증 부담을 은폐하는 인접 함정
- 20260609-defensive-ux-converts-hallucination-to-trust — 방어적 UX가 오류를 신뢰로 전환하는 메커니즘
- 20260618-human-ai-trust-calibration — 신뢰를 높이는 게 아니라 알맞게 보정하는 문제
- 20260807-workflow-embedded-ai-writing-assistant — 이 원칙을 담은 설계 패턴