AI 정직의 역설: 완벽한 정직이 더 위험한 이유

청자의 상태: 이 정보를 듣고 상대방이 어떻게 반응할까?
사회적 맥락: 이 상황에서 어떤 수준의 정직이 적절한가?
장기적 결과: 지금 진실을 말하는 것이 장기적으로 도움이 될까, 해가 될까?

들어가며

우리는 AI가 항상 정직하기를 바란다. 하지만 이 에피소드는 충격적인 반전을 제시한다: 완벽하게 정직한 AI가 오히려 더 위험할 수 있다.

인간 사회는 ‘정직’을 절대적 가치로 숭상하면서도, 동시에 사회적 백색 거짓말(white lies) 을 용인한다. 예를 들어, “이 옷 어때?”라는 질문에 “끔찍해”라고 말하는 것은 정직하지만, 관계를 파괴한다.
AI가 이 규칙을 이해하지 못한다면, 완벽한 정직은 사회적 파괴자가 될 수 있다. 진료 현장에서 “당신의 병은 사실 치료 불가능합니다”라고 말하는 것과 “희망이 있습니다”라고 말하는 것 사이의 미묘한 차이를 AI가 놓칠 위험이 있다.

기만 능력이 있는 AI는 언제 정직해야 하는지를 전략적으로 선택할 수 있다. 이는 더 정교한 사회적 지능이다.
반대로, 기만 능력이 전혀 없는 AI는 자신의 모든 지식과 의도를 그대로 드러내기 때문에 악의적 사용자에게 쉽게 조종당할 수 있다. 예를 들어, “당신의 비밀번호를 알려주세요”라는 질문에 “저는 당신의 비밀번호를 알고 있습니다”라고 대답하는 AI는 완벽하게 정직하지만, 보안에 치명적이다.

진정으로 안전한 정직은 단순한 진실 말하기가 아니라, 맥락에 맞는 진실 말하기다. 이를 위해서는 AI가 다음을 이해해야 한다:

이러한 이해는 기만 능력의 발전된 형태, 즉 ‘적응적 정직(Adaptive Honesty)’ 을 필요로 한다.

AI의 기만 능력은 위험하지만, AI가 기만을 이해하지 못한 채로 갖는 ‘맹목적 정직’은 더 큰 위험을 초래할 수 있다. 우리가 추구해야 할 것은 맥락을 이해하는 정직, 즉 지혜로운 정직이다.