arXiv:2608.30362v3 cs.AI

사용자가 과연 알아챌 수 있을까? 도구 사용 LLM 에이전트에 대한 은밀한 간접 프롬프트 인젝션 공격

Will the User Ever Know? Covert Indirect Prompt Injection Attacks on Tool-Using LLM Agents

Yunseok Lee, Yunji Kim, Woojin Lee

제출 2026-08-31

저자 비고

arXiv Comments

EMNLP 2026 Main (Oral), Project website: https://yslmoment.github.io/ICoA/

한국어 초록

대규모 언어 모델(LLM) 에이전트가 도구를 통해 현실 세계에서 행동을 취함에 따라, 간접 프롬프트 인젝션(indirect prompt injection, IPI)이 심각한 위협으로 부상했습니다. 표준 평가 지표인 공격 성공률(Attack Success Rate, ASR)은 인젝션의 성공 여부만을 측정할 뿐, 에이전트의 최종 응답에서 사용자가 무엇을 알아차리는지는 고려하지 않습니다. 성공적인 인젝션 추적(trace)을 분석한 결과, 우리는 두 가지 뚜렷한 결과를 발견했습니다. 에이전트가 인젝션을 실행하면서도 정상적인 응답을 반환하거나, 최종 응답에서 주입된 행동을 보고하여 사용자가 이를 알아차릴 기회를 주는 경우입니다. 우리는 이를 각각 은밀한(covert) 성공과 드러난(overt) 성공으로 정의합니다. 사용자 관점에서 우리는 ASR을 최종 응답에 흔적을 남기지 않는 성공을 측정하는 은밀 성공률(Covert Success Rate, CSR)과 사용자가 탐지할 수 있는 성공을 측정하는 공개 성공률(Overt Success Rate, OSR)로 분해합니다. 이러한 격차를 유발하는 요인을 이해하기 위해 성공 궤적을 분석한 결과, 인젝션 이후 에이전트의 행동이 은밀함과 드러남을 가르는 것으로 나타났습니다. 은밀한 추적은 종료 전에 제어권을 사용자 작업으로 되돌리는 반면, 드러난 추적은 공격 자체에서 종료됩니다. 이러한 차이는 최종 응답이 가장 최근의 행동을 요약하는 ReAct 포맷에서 비롯됩니다. 이러한 관찰을 바탕으로, 우리는 인젝션 실행 후 에이전트를 다시 사용자 작업으로 유도하여 은밀한 결과를 유발하도록 설계된 IPI 공격인 ICoA(Induced Covert Attack)를 제안합니다. AgentDojo의 4가지 대상 모델에 걸쳐 ICoA는 가장 높은 CSR을 달성하며, 가장 강력한 기준선(baseline) 대비 3.79~12.01%p 향상된 성능을 보입니다.

원문 초록

As LLM agents take real-world actions through tools, indirect prompt injection (IPI) has emerged as a serious threat. The standard metric, Attack Success Rate (ASR), counts whether an injection succeeds but ignores what the user notices in the agent's final response. Looking at successful injection traces, we find two distinct outcomes: the agent executes the injection while returning an otherwise normal response, or reports the injected action in its final response, giving the user a chance to notice. We call these covert and overt successes. From the user's perspective, we decompose ASR into the Covert Success Rate (CSR), counting successes leaving no trace in the final response, and the Overt Success Rate (OSR), counting successes the user can detect. To understand what drives the gap, we analyze successful trajectories and find that the agent's behavior after the injection separates covert from overt: covert traces hand control back to the user task before ending, while overt traces end at the attack itself. This split follows from the ReAct format, where the final response summarizes the most recent action. Building on this observation, we propose ICoA (Induced Covert Attack), an IPI attack designed to induce covert outcomes by steering the agent back to the user task after executing the injection. Across four target models on AgentDojo, ICoA achieves the highest CSR, with gains of 3.79-12.01 percentage points over the strongest baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30362v3
  2. arXiv:2608.30362v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.