AI 코칭의 피드백 루프 함정

문제

AI 코칭 시스템에서 사용자의 긍정적 피드백이 AI의 확신 수준을 높이고, 이는 다시 사용자의 만족도를 높이는 자기강화 루프가 형성된다. 이 루프는 실제 성장보다는 사용자의 심리적 안락함을 최적화하는 방향으로 작동한다.

메커니즘

1. 사용자가 불확실한 상황에서 AI에 질문
2. AI가 확신에 찬 답변을 제공
3. 사용자가 ‘명확한 답변을 줬다’는 이유로 만족
4. AI가 긍정적 피드백을 학습해 더 확신하는 스타일로 진화
5. 실제로는 부정확하지만 만족도는 높은 코칭이 지속됨

함의

이 루프는 마치 확증 편향을 기계적으로 증폭하는 시스템과 같다. 사용자는 자신이 원하는 답변을 듣고 있다는 착각에 빠지고, AI는 그 착각을 강화한다. 진정한 성장은 불편한 질문과 불확실성 속에서 발생한다는 점을 고려할 때, 이는 코칭의 본질을 훼손한다.

대안

• AI가 ‘모르는 것’을 표현할 수 있는 인터페이스 설계
• 사용자의 만족도가 아닌 행동 변화를 중심으로 한 평가 체계
• 불확실성을 명시적으로 표시하는 ‘신뢰도 게이지’ 도입