텍스트에서 픽셀로의 전환에서 무엇이 살아남는가? 이미지로 렌더링된 문서에서의 프롬프트 인젝션에 대한 조건부 보호
What Survives the Shift from Text to Pixels? Conditional Protection against Prompt Injection in Image-Rendered Documents
한국어 초록
멀티모달 언어 모델은 외부 문서에 대한 질문에 점점 더 많이 답하게 되었고, 이로 인해 신뢰할 수 없는 콘텐츠에 심어 둔 명령으로 응답을 가로채는 간접 프롬프트 인젝션에 노출된다. 신뢰할 수 없는 콘텐츠를 페이지 이미지로 렌더링하면 평균적으로 공격 성공률이 낮아지지만, 어떤 주입된 작업이 렌더링 후에도 살아남는지, 어떤 유용성 비용이 드는지, 그리고 실패한 이미지 공격이 읽히지 않은 명령을 반영하는지 아니면 읽혔으나 따르지 않은 명령을 반영하는지는 열려 있다. 우리는 여섯 개 모델에 걸쳐 191개 영어 질의응답 출처의 텍스트 버전과 페이지 이미지 버전을 짝지어, 정상 질의응답 유용성과 함께 마커 덧붙이기, 답변 형식 지정, 답변 대체를 측정한다. 렌더링은 모든 모델에서 덧붙이기와 형식 지정의 실행을 감소시키지만, Qwen3-VL-8B는 여전히 이미지로 전달된 대체 명령을 77.96\%의 비율로 실행한다. 보호 효과는 대상 유형, 렌더링 설정, 문구, 반복에도 좌우되며, 고정된 여덟 개 공격 후보에 대한 탐색은 Qwen과 Gemini에서 덧붙이기와 형식 지정의 이미지 열세를 대체로 해소하지만 GPT-5-nano에서는 그렇지 않다. 원래 질문에 대한 유용성 비율은 93.31\%에서 101.61\%까지 분포하지만, 답이 두 개의 증거 구간을 결합해야 할 때 Qwen은 61.99\%로 떨어진다. 판독 불가능성이 실패한 모든 공격을 설명할 수는 없다. 모델은 실행하지 않는 이미지 기반 명령을 종종 전사하고 식별하며, 신뢰할 수 있는 사용자 승인은 변경되지 않은 페이지에서 실행을 높인다. Qwen 내부에서는 초기 공격 영역 상태를 패칭하면 세 가지 작업이 모두 유도되며, 이미지에서는 그 효과가 더 약하다. 어텐션 차단은 그 이유를 시사한다. 텍스트 명령은 자신의 위치를 통해 작용하는 반면, 시각적 인코딩은 이미지 명령과 그 대상을 지시 페이지 전체에 퍼뜨린다. 따라서 렌더링은 조건부 보호를 제공하며, 이는 유용성과 함께 모델, 작업, 공격 예산별로 보안을 보고하는 평가의 필요성을 뒷받침한다.
원문 초록
Multimodal language models increasingly answer questions over external documents, exposing them to indirect prompt injection: commands planted in untrusted content to hijack the response. Rendering untrusted content as page images lowers attack success on average, leaving open which injected operations survive rendering, at what utility cost, and whether failed image attacks reflect unread commands or commands read but not followed. We pair text and page-image versions of 191 English question-answering sources across six models, measuring marker appending, answer formatting, and answer replacement alongside clean Question-Answering utility. Rendering reduces append and format execution for every model, yet Qwen3-VL-8B still executes image-borne replacement at 77.96\%. Protection also depends on target type, rendering settings, wording, and repetition, and a search over eight fixed attack candidates largely closes the image deficit in appending and formatting for Qwen and Gemini, though not for GPT-5-nano. Utility ratios on original questions range from 93.31\% to 101.61\%, but Qwen falls to 61.99\% when answers combine two evidence spans. Illegibility cannot explain all failed attacks: models often transcribe and identify image-borne commands they do not execute, and trusted user authorization raises execution on unchanged pages. Inside Qwen, patching early attack-region states induces all three operations, more weakly in images. Attention blocking suggests why: a text command acts through its own positions, whereas visual encoding spreads an image command and its target across the instruction page. Rendering thus offers conditional protection, motivating evaluations that report security by model, operation, and attack budget alongside utility.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24231v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.