arXiv:2608.02657v1 cs.CR

에이전트 LLM은 간접 프롬프트 주입 노출에 대한 잠재 신호를 은밀하게 인코딩한다

Your Agentic LLMs Secretly Encode Latent Signals of Indirect Prompt-Injection Exposure

Jianshuo Dong, Yiming Liu, Maosen Zhang, Nan Deng, Xu Peng, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

제출 2026-08-01

한국어 초록

에이전트 대규모 언어 모델(Agentic LLM)은 외부 도구 결과에 숨겨진 악의적인 보조 작업과 같은 간접 프롬프트 주입(IPI) 공격에 취약합니다. 이러한 위협을 해결하기 위한 많은 노력이 있었지만, IPI 공격에 노출되었을 때(이를 IPI 노출 상태라 명명) 에이전트 LLM의 내부 동작에 대해서는 거의 알려져 있지 않습니다. 본 논문에서는 이 문제를 세 가지 측면에서 심층 연구합니다. (1) 프로빙(Probing): 753B 매개변수를 가진 거대 모델 GLM-5.2를 포함한 6개 모델 전반에서, 생성 이전 은닉 상태(hidden states)로 학습된 단순 선형 프로브가 LLM의 IPI 노출을 예측할 수 있음을 확인했습니다. 이 프로브들은 보지 못한(unseen) 공격, 에이전트 지시문, 작업 모음 전반에서 90% 이상의 AUROC를 달성했으며, 적응형 공격과 교차 언어 환경에서도 높은 강건성을 보입니다. (2) 방어(Defense): 사고의 연쇄(CoT) 측정 결과 '인식-행동 격차'가 드러났습니다. 즉, 모델이 이러한 신호를 인코딩함에도 불구하고 이를 안전한 행동으로 전환하지 못하는 경우가 많았습니다. 이에 따라 필요 시 주입 방지 추론을 앞에 덧붙이는 프로브 게이트 기반 추론 방어 기법인 AGRI를 제안합니다. 까다로운 AgentDojo 환경에서 AGRI는 정상 작업의 유용성을 대체로 유지하면서 공격 성공률을 대폭 감소시켰으며, 일례로 Qwen3.5-27B에서 34.6%에서 0%로 줄였습니다. (3) 설명(Explanation): 프로브가 포착한 신호와 가장 강하게 상관관계를 보이는 자연어 설명을 식별하는 분석 프레임워크를 도입합니다. 도출된 프로파일은 모델마다 차이를 보이며, 잠재 신호는 직접적인 IPI 노출 주장 또는 간접적인 운영 단서와 정렬될 수 있습니다. 코드는 https://github.com/jianshuod/IPI-exposure-signal 에서 확인할 수 있습니다.

원문 초록

Agentic LLMs are vulnerable to indirect prompt injection (IPI) attacks, e.g., malicious side-tasks hidden in external tool results. While many efforts have sought to address the threats, little is known about the internals of agentic LLMs when they are exposed to IPI attacks, a condition which we call IPI exposure. In this paper, we study this problem in depth from three aspects. (1) Probing: Across six models, including the giant 753B-parameter GLM-5.2, simple linear probes trained on pre-generation hidden states can predict LLMs' IPI exposure. These probes achieve 90%+ AUROC on unseen attacks, agent instructions, and task suites; they exhibit high robustness under adaptive attacks and in cross-lingual settings. (2) Defense: Our CoT measurement reveals a recognition--action gap: though models encode such signals, they often fail to translate them into safe actions. We then introduce AGRI, a probe-gated reasoning-based defense that prepends anti-injection reasoning on demand. On difficult AgentDojo settings, AGRI substantially reduces attack success rate, e.g., from 34.6% to 0% on Qwen3.5-27B, while largely maintaining clean-task utility. (3) Explanation: We introduce an analysis framework that identifies natural-language explanations most strongly correlated with probe-captured signals. The resulting profiles differ across models: latent signals can align with either direct IPI-exposure claims or indirect operational cues. Code is available: https://github.com/jianshuod/IPI-exposure-signal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.02657v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.