정의

에이전트 시대의 보안 취약점은 새로운 종(種)이 아니라, 전통 애플리케이션 보안에서 이미 알려진 공격 유형이 LLM이라는 새 실행 환경으로 자리를 옮긴 것이다. 방어 논리도 그대로 이전되지만, 결정적 차이는 LLM에 파라미터 바인딩에 해당하는 근본 해법이 아직 없다는 점이다.

핵심 속성

  • 대응 관계 1 — SQL 인젝션 → 프롬프트 인젝션: 둘 다 데이터와 명령이 같은 통로로 들어와 구분되지 않는 문제. 프롬프트 인젝션이라는 용어 자체가 2022년 사이먼 윌리슨이 SQL 인젝션에서 따와 명명.
  • 대응 관계 2 — 사회공학적 해킹 → Jailbreak: 코드가 아니라 서사로 상대가 스스로 예외를 인정하게 만드는 공격. 대상이 사람에서 모델로 바뀌었을 뿐. OWASP는 jailbreak를 별도 항목이 아닌 프롬프트 인젝션의 하위 유형으로 분류.
  • 대응 관계 3 — 하드코딩된 API 키 → 시스템 프롬프트 유출: 저장 위치가 앱 코드에서 시스템 프롬프트로 이동했을 뿐, “민감 정보를 애초에 넣지 않는다”는 원칙은 동일.
  • 인젝션 하위 구분: 직접 인젝션(사용자가 직접 지시)보다 간접 인젝션(문서·이미지·영상에 명령을 은닉)이 더 치명적. 피해자가 공격당한 사실 자체를 인지하지 못하기 때문.
  • 챗봇 vs 에이전트 차이: 말이 그대로 행동이 된다. 잘못된 발화는 지울 수 있지만 삭제된 파일과 실행된 송금은 되돌릴 수 없다.
  • 방어 3원칙: 프롬프트 인젝션 차단, 시스템 프롬프트 노출 차단, 권한 좁히기.
  • 검증 도구: garak(NVIDIA, jailbreak 자동 시도), PyRIT(Microsoft).
  • 감시 계층: 에이전트 간 대화를 상시 관찰하는 감시 에이전트 + 권한 행사 시점·종류·사유의 상세 로깅.

관계

인용

이름은 다 새로운데, 하나씩 뜯어 보면 원래 모바일 쪽에서 알던 공격이 옷만 갈아입고 나와 있는 겁니다.

AI 보안은 새로운 마법이 아니라, 익숙한 원칙을 새 자리에 다시 적용하는 겁니다.

출처

클리핑 · maily.so