AI 프롬프트 인젝션 방어 전략
개요
프롬프트 인젝션(Prompt Injection)은 LLM 기반 시스템에서 사용자 입력을 통해 모델의 의도된 동작을 우회하거나 악의적인 명령을 주입하는 공격 기법이다. 본 노트는 2026년 6월 13일 수집된 클리핑 자료를 기반으로, 프롬프트 인젝션의 유형과 방어 전략을 체계적으로 정리한다.
주요 방어 기법
1. 입력 검증 및 정화
- 패턴 기반 필터링: SQL 인젝션 방어와 유사하게, 특수 명령어 패턴(예: “Ignore previous instructions”)을 탐지하여 차단
- 의도 분류기: 사용자 입력이 정상 질의인지 공격 시도인지 분류하는 전용 모델 배치
2. 프롬프트 구조화
- 역할 분리: 시스템 프롬프트와 사용자 입력을 명확히 구분하는 구문적 경계 설정
- 권한 레벨링: 각 명령어에 권한 등급을 부여하여, 사용자 입력은 낮은 권한으로만 실행
3. 출력 검증
- 사후 필터링: 모델 출력에서 민감한 정보나 비정상적인 명령어 패턴 탐지
- 이중 검증: 출력 결과를 다시 LLM에 입력하여 정합성 검증
통찰: 프롬프트 인젝션의 본질은 ‘신뢰 경계의 붕괴’
표면적으로는 기술적 공격 기법처럼 보이지만, 프롬프트 인젝션의 근본 원인은 모델이 입력의 출처(시스템 vs 사용자)를 구분하지 못하는 구조적 한계에 있다. 이는 전통적인 보안에서의 ‘권한 상승(Elevation of Privilege)’ 취약점과 동형이다. 즉, LLM은 본질적으로 모든 입력을 동등한 신뢰 수준으로 처리하기 때문에, 공격자는 사용자 입력을 시스템 명령어로 위장하여 권한을 상승시킨다.