arXiv:2606.26479v1 cs.CR

LLM 에이전트의 프롬프트 인젝션에 대한 아웃오브밴드 방어의 적응형 평가

Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu

제출 2026-06-25

한국어 초록

최근 연구(2024~2026)는 도구 사용 LLM 에이전트를 간접 프롬프트 인젝션으로부터 방어하는 전략으로 수렴하고 있다: 모델이 악의적 명령을 거부하도록 학습시키는 대신, 에이전트의 행동을 중재하는 결정론적 정책으로 모델 외부에서 보안을 적용하는 방식이다. CaMeL, FIDES, Progent, RTBAS, FORGE 등의 시스템은 권한(capabilities), 정보 흐름 레이블(information-flow labels), 참조 모니터(reference monitors)를 활용하여 이를 구현하며, 여러 연구에서 AgentDojo 벤치마크에 대한 공격을 거의 완전히 차단했다고 보고한다. 본 논문은 두 가지 기여를 제시한다. 첫째, 이러한 아웃오브밴드(out-of-band) 방어들을 고전적 무결성 보호(Biba), 참조 모니터링(reference monitoring), 최소 권한(least privilege)의 사례로 구조화하여, 이들이 다루는 범위와 다루지 않는 범위를 체계적으로 비교한다. 둘째, 이 방어들 모두 정적 벤치마크(고정된 인젝션 시도 집합)에서만 검증되었음을 경고한다. 이는 인밴드(in-band) 방어가 강력해 보였으나 적응형 방어 인식 공격이 그 중 12개를 90% 이상의 성공률로 무너뜨린 것과 동일한 방법론이다; 우리는 적응형 평가에 필요한 위협 모델과 프로토콜을 명시한다. 이후 단일 H200에서 자체 호스팅한 오픈 가중치 에이전트(Qwen2.5-7B)를 사용하여 AgentDojo에서 Progent 자체의 적응형 공격 분석을 독립적으로 재현 및 확장하는 형태로 해당 프로토콜을 실행한다. 이 설정은 원저자들이 테스트하지 않은 것이다. 세 번의 실행 평균에서 방어는 유지되었다: Progent는 평균 공격 성공률을 약 6배 감소시켰으며(25.8%에서 4.2%로), 수작업으로 제작한 적응형 공격도 이를 높이지 못했다(2.6%). 이는 단일 블랙박스 공격 템플릿을 사용한 약한 모델에 대한 소규모 데이터 포인트 하나이며, 더 강력한 최적화된(화이트박스 GCG) 공격은 미해결 과제로 남아 있다. 이 결과는 결정론적 아웃오브밴드 적용이 인밴드 탐지보다 적응형 공격자에게 더 어려운 타깃이라는 가설과 일치하지만, 이를 확립하지는 않는다.

원문 초록

Recent work (2024 to 2026) has converged on a strategy for defending tool-using LLM agents against indirect prompt injection: rather than training the model to refuse malicious instructions, enforce security outside the model with a deterministic policy that mediates the agent's actions. Systems such as CaMeL, FIDES, Progent, RTBAS, and FORGE realize this with capabilities, information-flow labels, and reference monitors, and several report near-elimination of attacks on the AgentDojo benchmark. We make two contributions. First, we organize these out-of-band defenses as instances of classical integrity protection (Biba), reference monitoring, and least privilege, yielding a structured comparison of what they do and do not cover. Second, we warn that every one of them is validated only on static benchmarks (a fixed set of injection attempts), the same methodology that made in-band defenses look strong until adaptive, defense-aware attacks broke twelve of them at over 90% success; we specify the threat model and protocol an adaptive evaluation requires. We then run that protocol as an independent reproduction and extension of Progent's own adaptive-attack analysis, on AgentDojo, with an open-weight agent (Qwen2.5-7B) self-hosted on a single H200, a setting its authors did not test. Averaged over three runs, the defense held: Progent cut mean attack success roughly sixfold (25.8% to 4.2%), and a hand-crafted adaptive attack did not raise it (2.6%). This is one small-scale data point on a weak model with a single black-box attack template; a stronger optimized (white-box GCG) attack remains open. The result is consistent with, but does not establish, the hypothesis that deterministic out-of-band enforcement is a harder target for an adaptive attacker than in-band detection.

요약

도구 사용 LLM 에이전트의 아웃오브밴드(out-of-band) 프롬프트 인젝션 방어(CaMeL, Progent 등)를 Biba 무결성, 참조 모니터링, 최소 권한 틀로 체계화하고, 정적 벤치마크만으로는 부족하다는 점에서 적응형 평가 프로토콜을 제안한다. AgentDojo에서 Qwen2.5-7B로 Progent를 독립 재현한 결과 평균 공격 성공률이 25.8%에서 4.2%로 감소했고 수작업 적응형 공격도 2.6%에 그쳤으나, 이는 약한 모델과 단일 블랙박스 공격에 대한 소규모 결과에 불과하다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26479v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11030v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Large Language Model, llm agents

NOMOS: 문서화된 정책을 LLM 에이전트를 위한 정적으로 검증된 도구 호출 게이트로 컴파일하기

NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.

arXiv:2610.02827v1cs.AI공통 태그 Benchmarking, Adversarial Attack, Adversarial Robustness, Large Language Model

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.03153v1cs.CR공통 태그 Benchmarking, Adversarial Attack, Large Language Model, llm agents

EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model, llm agents

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.13623v1cs.CR공통 태그 Benchmarking, Adversarial Attack, llm agents

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

arXiv:2610.13886v1cs.AI공통 태그 Adversarial Attack, Large Language Model, llm agents

X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.