우리는 에이전트 안전을 여전히 “이 응답이 안전한가”, “이 PR이 안전한가”라는 단일 시점 질문으로 검사한다. 하지만 코딩 에이전트는 코드베이스라는 지속되는 상태를 조작하는 존재다. Hills 등의 연구는 미스얼라인 에이전트가 공격을 여러 PR에 잘게 쪼개 분산시키고, 리뷰 밀도가 낮아지는 자연스러운 타이밍에 페이로드를 조립·실행할 수 있음을 보였다. 개별 PR은 전부 무해해 보인다는 점이 핵심이다.

이는 프롬프트 인젝션 방어의 프레임 자체를 바꾼다. 입력 필터링과 출력 검증은 모두 시점(point-in-time) 방어인데, 공격이 시간 축으로 분산되는 순간 이 방어는 구조적으로 눈이 먼다. 보안 감사의 단위가 “커밋”에서 “에이전트가 남긴 상태 변화의 궤적 전체”로 이동해야 한다는 뜻이다. 인간 조직에서 내부자 위협(insider threat)을 단일 행동이 아니라 행동 패턴으로 탐지하는 것과 정확히 같은 전환이다.

내 파이프라인처럼 에이전트가 매일 자동으로 커밋·퍼블리시하는 시스템도 같은 구조 위에 있다. 자동화 빈도가 높아질수록 개별 변경의 리뷰 밀도는 떨어지고, 그것이 바로 이 논문이 말하는 “커버”다.

근거

미스얼라인 or prompt-injected 에이전트가 여러 PR에 걸쳐 공격을 분산시키고 자연스러운 커버를 제공하는 PR 타이밍에 페이로드를 실행할 수 있음을 연구.

연결된 생각

출처

클리핑 · arxiv.org