보이지 않는 경계: 시스템 프롬프트와 사용자 입력 사이

관찰

현대 LLM 아키텍처에서 시스템 프롬프트와 사용자 입력 사이의 경계는 개념적으로만 존재할 뿐, 모델이 이를 인식할 수 있는 구조적 메커니즘은 없다. 두 영역은 동일한 토큰 공간에서 처리된다.

통찰

이는 전통적인 컴퓨터 보안에서 ‘권한 분리(Separation of Privilege)’ 원칙이 완전히 결여된 설계다. 운영체제가 커널 모드와 사용자 모드를 하드웨어 수준에서 분리하는 것과 달리, LLM은 모든 입력을 동일한 권한 수준으로 처리한다. 프롬프트 인젝션은 이러한 설계적 결함의 결과이지, 단순한 구현 실수가 아니다.

은유

LLM은 마치 벽이 없는 집과 같다. 시스템 프롬프트와 사용자 입력이라는 방이 있지만, 그 사이에 벽이 없어 누구나 자유롭게 드나들 수 있다. 공격자는 이 ‘보이지 않는 경계’를 이용하여 시스템 프롬프트 방으로 침입한다.

시사점

• 근본적인 해결책은 아키텍처 수준의 권한 분리: 하드웨어적/구조적 경계 도입
• 단기적 대안: 프롬프트 템플릿의 불변 영역(immutable zone) 개념 도입
• 현재의 모든 방어 기법은 임시방편: 진정한 해결은 LLM 아키텍처의 재설계가 필요