LLM 신뢰의 역설

관찰

우리는 LLM에게 ‘모든 것을 믿지 말라’고 가르치면서, 동시에 ‘내 명령은 절대적으로 믿어라’고 요구한다. 이는 모순된 요구사항이다.

통찰

프롬프트 인젝션 방어의 어려움은 기술적 한계보다 철학적 모순에서 비롯된다. 시스템은 사용자 입력을 신뢰하지 않으면서도(악의적 입력 차단), 사용자 입력을 신뢰해야 한다(정상 명령어 실행). 이 ‘신뢰의 역설’을 해결하지 않으면, 완벽한 방어는 불가능하다.

확장

이 역설은 AI 안전 전반에 걸친 근본적인 문제를 드러낸다: ‘어떻게 통제하면서도 유용한 시스템을 만들 것인가?’ 완벽한 통제는 유용성을 죽이고, 완벽한 자유는 안전성을 위협한다. 이는 AI 정렬 문제의 축소판이다.

시사점

• 기술적 방어만으로는 한계가 있다: 철학적 프레임워크가 필요하다.
• ‘신뢰하되 검증하라’는 구호는 LLM에서는 작동하지 않는다: 검증 자체가 신뢰를 전제하기 때문이다.
• 차선책: ‘제한된 신뢰 맥락’을 설계하여, 각 맥락에서의 신뢰 범위를 명시적으로 정의한다.