industry-network.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.30362v3cs.AI

사용자가 과연 알아챌 수 있을까? 도구 사용 LLM 에이전트에 대한 은밀한 간접 프롬프트 인젝션 공격

Will the User Ever Know? Covert Indirect Prompt Injection Attacks on Tool-Using LLM Agents

대규모 언어 모델(LLM) 에이전트가 도구를 통해 현실 세계에서 행동을 취함에 따라, 간접 프롬프트 인젝션(indirect prompt injection, IPI)이 심각한 위협으로 부상했습니다. 표준 평가 지표인 공격 성공률(Attack Success Rate, ASR)은 인젝션의 성공 여부만을 측정할 뿐, 에이전트의 최종 응답에서 사용자가 무엇을 알아차리는지는 고려하지 않습니다. 성공적인 인젝션 추적(trace)을 분석한 결과, 우리는 두 가지 뚜렷한 결과를 발견했습니다. 에이전트가 인젝션을 실행하면서도 정상적인 응답을 반환하거나, 최종 응답에서 주입된 행동을 보고하여 사용자가 이를 알아차릴 기회를 주는 경우입니다. 우리는 이를 각각 은밀한(covert) 성공과 드러난(overt) 성공으로 정의합니다. 사용자 관점에서 우리는 ASR을 최종 응답에 흔적을 남기지 않는 성공을 측정하는 은밀 성공률(Covert Success Rate, CSR)과 사용자가 탐지할 수 있는 성공을 측정하는 공개 성공률(Overt Success Rate, OSR)로 분해합니다. 이러한 격차를 유발하는 요인을 이해하기 위해 성공 궤적을 분석한 결과, 인젝션 이후 에이전트의 행동이 은밀함과 드러남을 가르는 것으로 나타났습니다. 은밀한 추적은 종료 전에 제어권을 사용자 작업으로 되돌리는 반면, 드러난 추적은 공격 자체에서 종료됩니다. 이러한 차이는 최종 응답이 가장 최근의 행동을 요약하는 ReAct 포맷에서 비롯됩니다. 이러한 관찰을 바탕으로, 우리는 인젝션 실행 후 에이전트를 다시 사용자 작업으로 유도하여 은밀한 결과를 유발하도록 설계된 IPI 공격인 ICoA(Induced Covert Attack)를 제안합니다. AgentDojo의 4가지 대상 모델에 걸쳐 ICoA는 가장 높은 CSR을 달성하며, 가장 강력한 기준선(baseline) 대비 3.79~12.01%p 향상된 성능을 보입니다.