bluesparrowtech.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2608.30362v3cs.AI

사용자가 과연 알아챌 수 있을까? 도구 사용 LLM 에이전트에 대한 은밀한 간접 프롬프트 인젝션 공격

Will the User Ever Know? Covert Indirect Prompt Injection Attacks on Tool-Using LLM Agents

대규모 언어 모델(LLM) 에이전트가 도구를 통해 현실 세계에서 행동을 취함에 따라, 간접 프롬프트 인젝션(indirect prompt injection, IPI)이 심각한 위협으로 부상했습니다. 표준 평가 지표인 공격 성공률(Attack Success Rate, ASR)은 인젝션의 성공 여부만을 측정할 뿐, 에이전트의 최종 응답에서 사용자가 무엇을 알아차리는지는 고려하지 않습니다. 성공적인 인젝션 추적(trace)을 분석한 결과, 우리는 두 가지 뚜렷한 결과를 발견했습니다. 에이전트가 인젝션을 실행하면서도 정상적인 응답을 반환하거나, 최종 응답에서 주입된 행동을 보고하여 사용자가 이를 알아차릴 기회를 주는 경우입니다. 우리는 이를 각각 은밀한(covert) 성공과 드러난(overt) 성공으로 정의합니다. 사용자 관점에서 우리는 ASR을 최종 응답에 흔적을 남기지 않는 성공을 측정하는 은밀 성공률(Covert Success Rate, CSR)과 사용자가 탐지할 수 있는 성공을 측정하는 공개 성공률(Overt Success Rate, OSR)로 분해합니다. 이러한 격차를 유발하는 요인을 이해하기 위해 성공 궤적을 분석한 결과, 인젝션 이후 에이전트의 행동이 은밀함과 드러남을 가르는 것으로 나타났습니다. 은밀한 추적은 종료 전에 제어권을 사용자 작업으로 되돌리는 반면, 드러난 추적은 공격 자체에서 종료됩니다. 이러한 차이는 최종 응답이 가장 최근의 행동을 요약하는 ReAct 포맷에서 비롯됩니다. 이러한 관찰을 바탕으로, 우리는 인젝션 실행 후 에이전트를 다시 사용자 작업으로 유도하여 은밀한 결과를 유발하도록 설계된 IPI 공격인 ICoA(Induced Covert Attack)를 제안합니다. AgentDojo의 4가지 대상 모델에 걸쳐 ICoA는 가장 높은 CSR을 달성하며, 가장 강력한 기준선(baseline) 대비 3.79~12.01%p 향상된 성능을 보입니다.

arXiv:2609.04495v1cs.AI

간접 프롬프트 주입을 테스트-시간 탐색 문제로의 재고

Rethinking Indirect Prompt Injection as a Test-Time Search Problem

본 연구에서는 간접 프롬프트(prompt) 주입을 환경(environment), 사용자 태스크, 그리고 주입 태스크로 인해 유도되는 태스크-의존적 공격 표면에 대한 테스트-시간 탐색(test-time search)으로 정형화합니다. 이러한 정형화를 구체화하기 위해, 환경 정찰, 공격 전략에 대한 구조적 추론, 그리고 피해 에이전트(agent) 피드백을 활용한 적응형 평가를 수행하는 전용 탐색 프레임워크를 갖춘 에이전트 공격자를 제안합니다. 이종 태스크 전반에 걸쳐 공격자의 테스트-시간 연산량을 늘리면 취약점 발견 및 활용(exploitation)이 향상됨을 확인하였으며, 소거 연구(ablation study)를 통해 명시적인 전략 관리가 중복 탐색을 방지하고 더 큰 예산에서도 성능 이득을 유지하는 데 중요하다는 것을 보여줍니다. 이러한 결과는 에이전트 보안 평가 시 공격 성공 여부를 피해자의 예산 독립적인 속성으로 취급하기보다는, 공격자의 탐색 절차와 연산 예산을 모두 특성화해야 함을 시사합니다. 더 나아가, 본 연구 결과는 도구를 사용하는 에이전트에 대해 시스템 공격 표면 전반에 걸친 공격자의 적응형 탐색이 중요하면서도 충분히 연구되지 않은 보안 위험임을 규명합니다.