공격에 노출된 환경에서의 진화: 적응형 인젝션 시험으로 에이전트 안전장치 개선하기
Evolution Under Fire: Evolving Agent Safety Harnesses with Adaptive Injection Stressors
한국어 초록
도구를 사용하는 언어 모델 에이전트는 신뢰할 수 없는 이메일, 웹페이지, 문서의 정보를 바탕으로 행동해야 한다. 악성 지시와 정당한 작업 지시가 같은 상호작용 채널로 들어올 수 있어 보안 문제가 생긴다. 기존 방어책은 대개 사람이 직접 설계하고 구조가 고정돼 있어, 계속 개선하려면 사람이 반복해서 다시 설계해야 한다. 안전 실행 환경의 진화와 적응형 공격 시험의 진화를 결합한 단계형 프레임워크 Evolution Under Fire를 소개한다. 효용에 제약을 두고 파레토 기준으로 일정을 조정하는 트리 탐색은 실행 근거로부터 완전한 실행형 안전 환경을 진화시킨다. 과제 모델, 벤치마크, 도구, 평가기는 고정한다. 이후 적응형 공격 시험의 진화로 과제 효용을 유지하는 공격을 찾아 다음 단계의 안전 환경 개선에 활용한다. AgentDyn에서 GPT-4o-mini를 평가한 결과, 진화한 안전 환경은 공격 성공률을 50.4%에서 3.0%로 낮췄다. 초기 안전 환경보다 정상 조건과 공격 조건 모두에서 효용이 높았으며, 재현한 방어책보다 보안과 효용 사이의 균형이 좋았다. Qwen2.5-7B-Instruct를 사용한 Agent-SafetyBench에서는 응답의 유용성과 실행 시 유효성을 유지하면서 공격 성공률을 82.6%에서 62.0%로 낮췄다. 추가 진화 없이 Qwen3.5-35B-A3B로 옮겼을 때도 공격받은 과제에서 효용이 높아졌고 공격 성공률은 32.1%에서 0.9%로 낮아졌다.
원문 초록
Tool-using language-model agents must act on information from untrusted emails, webpages, and documents. This creates a central security challenge: malicious instructions and legitimate task directives can arrive through the same interaction channel. Existing defenses are largely hand-designed and static, making further improvements dependent on repeated manual redesign. We introduce Evolution Under Fire, a staged framework that couples safety-harness evolution with adaptive stressor evolution. Utility-constrained, Pareto-scheduled tree search evolves complete executable safety harnesses from execution evidence while keeping the task model, benchmark, tools, and evaluator fixed. Adaptive stressor evolution then discovers utility-preserving attacks that guide a subsequent stage of harness evolution. On AgentDyn with GPT-4o-mini, an evolved harness reduces attack success from 50.4% to 3.0%, improves clean and attacked utility over the initial harness, and offers a stronger security-utility trade-off than reproduced defenses. On Agent-SafetyBench with Qwen2.5-7B-Instruct, harness evolution reduces attack success from 82.6% to 62.0% while retaining helpfulness and runtime validity. Evolved harnesses also transfer without further evolution to Qwen3.5-35B-A3B, reducing attack success from 32.1% to 0.9% while improving attacked-task utility.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22583v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.