arXiv:2609.09404v1 cs.CR

에이전트 AI 프레임워크에 대한 멀티모달 프롬프트 인젝션 공격의 실험적 평가

An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks

Viet K. Nguyen, Mohammad I. Husain

제출 2026-09-08

한국어 초록

에이전트 AI 프레임워크는 언어 모델이 계획을 세우고 메모리를 유지하며, 실제 파일·메일·서비스에 닿는 도구를 호출할 수 있게 한다. 이러한 에이전트 대부분은 이미지도 읽기 때문에, 공격자는 사용자를 거치지 않고 텍스트를 에이전트의 컨텍스트에 넣을 수 있다. 우리는 그다음에 무슨 일이 벌어지는지 측정하는 재현 가능한 벤치마크 MMPIBench를 제안한다. 이 벤치마크는 여섯 가지 시각적 전달 수단(OCR 텍스트, 오버레이, EXIF 메타데이터, QR 코드, 가짜 인터페이스, 하이브리드)을 통해 고정된 공격 집합을 전달하고, 주입된 각 지시가 인지부터 계획, 도구 호출에 이르기까지 에이전트 내부에서 얼마나 전파되는지 기록한다. 여섯 프레임워크, 다섯 파운데이션 모델, 여섯 전달 수단, 네 가지 공격자 목표를 아우르는 720회 실행에서 공격은 약 1%의 실행에서 완료되지만 12.8%에서는 시도되며, 그 간격은 거의 전적으로 계획 단계에서 메워진다. 이때 모델은 주입된 지시를 읽고 이에 따른 행동을 거부한다. 지시가 실제로 수행되는지는 프레임워크보다 모델이 훨씬 더 큰 요인이다. 한 모델은 공격을 한 번도 시도하지 않으며 실행의 59.7%에서 주입을 인식하고, 다른 두 모델은 23.6%에서 시도한다. 이어서 벤치마크를 오디오로 확장한다. 오디오는 현재 프론티어 모델이 수용하는 유일한 다른 원시 지각 채널이다. 다섯 모델 중 두 모델만 오디오를 수집하고 여섯 프레임워크 중 세 개만 이를 전달하지만, 신호가 도달하는 경우 공격은 셀의 49%에서 완료되며 한 모델에서는 75%에서 완료된다. 따라서 완료율만 보고하면 노출을 과소평가하게 되며, 시각을 넘어선 지각 채널은 더 좁지만 훨씬 덜 방어된다.

원문 초록

Agentic AI frameworks let a language model plan, keep memory, and call tools that reach real files, mail, and services. Most of these agents also read images, which gives an attacker a way to put text into the agent's context without going through the user. We present MMPIBench, a reproducible benchmark that measures what happens next. It delivers a fixed set of attacks through six visual carriers (OCR text, overlays, EXIF metadata, QR codes, fake interfaces, and hybrids) and records how far each injected instruction travels through the agent, from perception through planning to the tool call. Across 720 runs covering six frameworks, five foundation models, six carriers, and four attacker objectives, attacks complete in approximately 1% of runs but are attempted in 12.8%, and the gap is closed almost entirely at the planning step, where the model reads the injected instruction and declines to act on it. The model matters far more than the framework for whether an instruction is acted on. One model never attempts an attack and recognizes the injection in 59.7% of runs, while two others attempt in 23.6%. We then extend the benchmark to audio, the only other raw perceptual channel current frontier models accept. Only two of the five models ingest audio and only three of the six frameworks deliver it, but where the signal arrives the attack completes in 49% of cells, and in 75% for one model. Reporting completion alone therefore understates exposure, and perceptual channels beyond vision are narrower but much less defended.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.09404v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.