arXiv:2602.07104v3 cs.CV

현실로의 확장: 3D 환경에서의 프롬프트 주입

Extended to Reality: Prompt Injection in 3D Environments

Zhuoheng Li, Ying Chen

제출 2026-02-06

저자 비고

arXiv Comments

Conference on Language Modeling (COLM) 2026

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 3D 환경에서 시각적 입력을 해석하고 이에 따라 행동하는 능력을 발전시켜, 로보틱스 및 상황 인지형 대화형 에이전트(situated conversational agent)와 같은 다양한 응용 분야를 지원하고 있습니다. MLLM이 물리적 세계를 카메라로 촬영한 뷰를 바탕으로 추론할 때 새로운 공격 표면(attack surface)이 등장합니다. 공격자가 의도된 MLLM 작업을 무력화하기 위해 텍스트가 포함된 물리적 객체를 환경에 배치할 수 있다는 점입니다. 선행 연구에서는 텍스트 도메인과 디지털 방식으로 편집된 2D 이미지를 통한 프롬프트 주입(prompt injection)을 연구해 왔으나, 이러한 공격이 3D 환경에서 어떻게 작동하는지에 대해서는 주목을 거의 받지 못했습니다. 이러한 간극을 메우기 위해, 본 논문에서는 디지털 이미지 편집 대신 텍스트가 포함된 객체 배치를 통해 실현되는 3D 환경에서의 MLLM 대상 프롬프트 주입 공격인 PI3D를 소개합니다. 본 연구는 주입된 텍스트가 포함된 3D 객체의 효과적인 포즈(위치 및 방향)를 식별하는 문제를 공식화하고 해결하며, 여기서 공격자의 목표는 객체 배치가 물리적으로 타당하게 유지되도록 보장하면서 MLLM이 주입된 작업을 수행하도록 유도하는 것입니다. 실험 결과는 PI3D가 다양한 카메라 궤적 하에서 여러 MLLM을 상대로 효과적인 공격임을 보여줍니다. 나아가 다양한 방어 기법을 평가하여 이러한 기법들이 PI3D를 안정적으로 방어하기에 충분하지 않음을 보입니다.

원문 초록

Multimodal large language models (MLLMs) have advanced the capabilities to interpret and act on visual input in 3D environments, empowering diverse applications such as robotics and situated conversational agents. When MLLMs reason over camera-captured views of the physical world, a new attack surface emerges: an attacker can place text-bearing physical objects in the environment to override MLLMs' intended task. While prior work has studied prompt injection in the text domain and through digitally edited 2D images, limited attention has been paid to how these attacks function in 3D environments. To bridge the gap, we introduce PI3D, a prompt injection attack against MLLMs in 3D environments, realized through text-bearing object placement rather than digital image edits. We formulate and solve the problem of identifying an effective pose (position and orientation) for a 3D object with injected text, where the attacker's goal is to induce the MLLM to perform the injected task while ensuring that the object placement remains physically plausible. Experiment results demonstrate that PI3D is an effective attack against multiple MLLMs under diverse camera trajectories. We further evaluate a range of defenses and show that they are not sufficient to reliably defend against PI3D.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.07104v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39607v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2610.10742v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2610.03089v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기

Securing Computer-Use Agents Against Branch Steering Attacks

현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.

arXiv:2610.01535v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

잘못된 하한선: 분포 변화에서 무너지는 LLM 안전 라우팅 평가

False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift

안전 라우터는 각 요청을 여러 모델 중 하나로 보내며, 단일 최선 모델과 비교하여 평가된다. 주요 라우팅 벤치마크는 평가 데이터 상에서 이러한 비교 대상을 선택한다. 벤치마크 자체의 설정에서는 이것이 무해하지만, 분포 변화(distribution shift) 하에서는 그렇지 않다. HELM Safety에서 이러한 선택 비용은 무작위 분할 시 0.003-0.030의 위해(harm) 수준이며, 홀드아웃(held-out) 범주에서는 0.045-0.113으로, 라우팅 탓으로 돌려진 전체 결손과 맞먹는 수준이고 그 방향성은 기발표된 어느 한 심사자(judge) 기준 단독으로도 유지된다. AgentDojo에서 스위트(suite)가 홀드아웃될 때는 이것이 7배에서 9배까지 증가한다. 사전에 고정된 규칙에 따라 선택된 7개 안전 말뭉치 전반에서 3개는 사전 등록된 구간 검정을 충족하고 4개는 사후 순열 영가설(permutation null)을 능가하며, 구간 검정을 통과하지 못한 4개 중 3개는 일부 모델의 관측된 위해가 0인 말뭉치들이다. 선행 연구는 이러한 바이어스의 방향성을 입증한다. 본 연구는 위해와 정확도 측면에서 그 크기를 측정하고, 우리가 측정한 홀드아웃 분할 하에서 이것이 더 큼을 보이며, 낙관주의(optimism)와 변화 의존적 리그렛(regret)의 합으로 이를 한계 짓는다. 변화 하에서 정직하게 채점할 경우, 이러한 벤치마크들에서 라우팅이 가져다주는 이점은 거의 없다. 대부분의 풀 셀(pool cell)에서 중첩된 라우터는 정직한 기준선의 모델을 제공하며, 거의 포화 상태인 AgentDojo 말뭉치에서 완벽한 사전 디스패치(pre-dispatch) 라우터의 가치는 최대 2포인트의 위해 감소에 불과하다. 또한 우리는 후기 주입(late injection)에 대해 모델이 표출하는 인식이 조향 가능(steerable)함을 발견했다. 홀드아웃 재실행에서 자신이 마주한 모델을 아는 공격자는 GPT-5.4의 판정된 인식을 19.6포인트 낮추며, 이는 독립적인 레이블에 의해서도 확인된다. 제어기로의 오프라인 반사실적 합성(counterfactual composition)에서, 동일한 공격은 대체(fallback) 모델에 따라 추정 위해를 높이거나 낮춘다. 안전 라우팅은 변화 하에서, 테스트 레이블 없이 선택된 기준선과 비교하여 평가되어야 하며, 인식 기반 방어는 모델이 보는 것을 선택하는 공격자에 맞서 위해를 기준으로 채점되어야 한다.

arXiv:2607.19430v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, prompt injection

ChannelGuard: 안전한 모델들은 안전한 멀티 에이전트 시스템을 구성하지 않는다

ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

멀티 에이전트 LLM 애플리케이션은 플래너, 작업 에이전트, 검증기, 합성기를 연결하며, 에이전트 간의 모든 홉은 공격자가 지시를 밀반입할 수 있는 모니터링되지 않은 채널이다. 기존 방어는 입력 경계만 보호하거나(IBProtector, Llama Guard, perplexity 필터, SmoothLLM) 애플리케이션 외부에서 불투명하고 확률적인 제공자 측 필터로 동작한다. 우리는 이 공백이 드물게 측정되는 결과를 수반함을 보인다. 8개 공격군, 5개 방어, 3개 모델 백엔드에 걸친 2,100-트레이스 평가에서, 표준 보고 기준으로는 완전히 안전해 보이는(도구 및 메모리 독 poisoning에서 공격 성공률 0.000) 무방어 파이프라인의 그 안전성은 거의 전적으로 클라우드 제공자의 서버 측 필터(Azure GPT-5에서 60건 중 54건 차단)에 의존하며, 이러한 필터가 없는 백엔드에서는 조용히 에이전트 모델 자체의 정렬(alignment)로 전환된다. 결과만 보고하는 방식은 이러한 의존성을 숨긴다. 우리는 ChannelGuard를 제시한다. 이는 모든 에이전트 간 채널에 정보 병목(information-bottleneck) 게이트를 배치하는 학습 없는(training-free) 심층 방어( defense-in-depth) 프레임워크로, 각 게이트는 임베딩 유사도로 채널 텍스트를 적대적 구문 뱅크와 대조해 점수를 매기고 결정적으로 통과, 압축, 또는 차단하며 LLM 호출을 추가하지 않는다. 동시에 귀속(attribution) 방법은 각 공격을 어느 층에서 중단했는지 기록한다. ChannelGuard의 도구 출력 게이트는 애플리케이션 층에서 Tool Poisoning 30건 중 30건을 차단하며, Azure GPT-5, Anthropic Sonnet 4.5, Anthropic Haiku 4.5에서 동일하고, 무방어 파이프라인은 백엔드마다 완전히 달라진다. 또한 Prompt Injection 공격 성공률을 절반으로 낮추고(0.333에서 0.167) GSM8K 정확도를 정확히 유지한다(0.867). 화이트박스 적응형 패러프레이즈는 모든 임베딩 게이트를 우회하며, perturb-and-vote 기준선(baseline)이 더 나은 성능을 보인다. 확장 부록에는 기준선, ablation, 스윕, 양성 보존 분석, 판정 감사(kappa = 0.900)가 포함되며, 총 비용은 47.36 USD이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.