무엇이 에이전트를 안내하는가? 행동 유도 지시문 지역화를 통한 무허가 행동 판정
What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions
한국어 초록
외부 리소스와 통합된 대규모 언어 모델(LLM) 에이전트는 복잡한 태스크 수행 능력을 얻지만, 통합된 자연어 컨텍스트 채널 때문에 주입 공격(injection attack)에 취약하다. 신뢰할 수 없는 외부 데이터가 LLM 추론 과정에서 동적으로 행동 유도 지시문(behavior-guiding instruction)으로 파싱되어 에이전트의 의사결정을 전복시킬 수 있다. 기존 방어는 입력·출력 수준에서 악성 콘텐츠를 정적으로 탐지하거나 격리하는 데 초점을 맞추어, 모델 추론 중에 발생하는 이러한 동적 유도를 탐지하기에는 불충분하다. 우리는 도구 호출(tool-calling) 결정에 실질적으로 영향을 미치는 컨텍스트 구간, 즉 행동 유도 지시문을 세밀하게 지역화하는 런타임 프레임워크 Attnlocate를 제안한다. Attnlocate는 이 지역화 문제를 객체 검출(object detection) 과제로 형식화하여, 어텐션(attention) 행렬 내에서 행동 유도 지시문이 유발하는 distinctive activation trace를 검출하는 것을 목표로 한다. 구체적으로, 객체 검출에 맞춘 토큰(token) 수준 특징(feature) 공간을 구성하기 위해 다중 헤드·다층(layer) 어텐션 집계 방식을 설계한다. 이어서 anchor-free 검출 헤드를 갖춘 1-D U-Net을 배치하여 이러한 구간을 검출한다. 마지막으로, 검출된 행동 유도 지시문 구간의 출처 제공자(provider) 권한(authority)에 따라 Attnlocate는 악의적 호출 시도를 동적으로 판정한다. Attnlocate를 5개 LLM 계열의 10가지 에이전트 구성에 걸쳐 평가했으며, 간접 프롬프트 주입(indirect prompt injection) 및 도구 오염(tool poisoning) 시나리오를 포함한다. Attnlocate는 평균 IoU 0.743, 평균 AUROC 0.956, 위양성률(false-positive rate) 0.067에서 참양성률(true-positive rate) 0.934를 달성한다. 또한 보지 못한 모델(model)에도 효과적으로 전이되며, 재학습 없이 권한 정책 적응을 지원한다.
원문 초록
LLM agents integrated with external resources gain complex task capabilities, yet the unified natural-language context channel makes them vulnerable to injection attacks: untrusted external data may be dynamically parsed as behavior-guiding instructions during LLM inference, thereby subverting the agent's decision. Existing defenses focus on static detection or isolation of malicious content at the input/output level, remains insufficient for detecting such dynamic inducements that arise during model reasoning. We propose Attnlocate, a runtime framework for fine-grained localization of context spans that genuinely influence tool-calling decisions, i.e., behavior-guiding instructions. Attnlocate casts this localization problem as an object detection task, aiming to detect the distinctive activation traces induced by behavior-guiding instructions within the attention matrix. Specifically, we design a multi-head, multi-layer attention aggregation scheme to construct a token-level feature space tailored for object detection. Then, a 1-D U-Net equipped with an anchor-free detection head is deployed to detect these spans. Finally, based on the authority of the provider from which the detected behavior-guiding spans originate, Attnlocate dynamically adjudicates malicious invocation attempts. We evaluate Attnlocate across ten agent configurations from five LLM families, covering scenarios involving indirect prompt injection and tool poisoning. Attnlocate achieves a mean IoU of 0.743, an average AUROC of 0.956, and a 0.934 true-positive rate at 0.067 false-positive rate. It also transfers effectively across unseen models and supports authority policy adaptation without retraining.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24022v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.