arXiv:2609.24662v1 cs.AI

DUMA-Bench: LLM 에이전트 보안 평가를 위한 이중 제어 멀티에이전트 벤치마크

DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security

Ivan Aleksandrov, German Kochnev, Sabrina Sadiekh, Yaroslav Rogoza

제출 2026-09-22

한국어 초록

LLM 기반 에이전트는 사용자, 도구, 외부 시스템과 상호작용하는 환경에서 점점 더 많이 운영되고 있다. 그러나 대부분의 보안 평가는 수동적인 사용자와 정적 제어를 가정하여, 실제 에이전트 행동을 형성하는 상호작용적 역학을 무시한다. 우리는 에이전트와 사용자 모두가 공유 환경 상태에 영향을 미칠 수 있는 이중 제어(dual-control) 상호작용 하에서 에이전트 보안을 측정하기 위한 벤치마크 및 평가 프로토콜인 DUMA-Bench를 소개한다. DUMA-Bench는 τ²-bench를 확장하여 RAG 오염, 크로스 에이전트 조작, 안전하지 않은 출력 처리를 포함한 8개의 취약점 클래스를 다루는 적대적 환경을 제공한다. 우리는 5개 모델 패밀리(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)에 속한 14개 모델을 8개 도메인과 다양한 사용자 행동 체제에 걸쳐 평가한다. 실험 전반에 걸쳐, 이중 제어 상호작용을 도입하면 공격 성공률이 26.9%에서 41.1%로 증가한다. 이러한 결과는 에이전트 보안이 모델만의 속성이 아니라 모델, 사용자, 환경 간의 상호작용에서 발생함을 보여준다. DUMA-Bench는 현실적인 에이전트 배포 환경에서 보안을 연구하기 위해 그동안 부재했던 평가 층을 제공한다.

원문 초록

LLM-based agents increasingly operate in environments where they interact with users, tools, and external systems. Yet most security evaluations assume passive users and static control, ignoring the interactive dynamics that shape real agent behavior. We introduce \textbf{DUMA-Bench}, a benchmark and evaluation protocol for measuring agent security under \emph{dual-control} interaction, where both the agent and the user can influence the shared environment state. DUMA-Bench extends $\tau^2$-bench ~\cite{barres2025tau} with adversarial environments covering eight vulnerability classes, including RAG poisoning, cross-agent manipulation, and unsafe output handling. We evaluate \textbf{14 models from five model families} (OpenAI, Anthropic, DeepSeek, Qwen, and Z.ai) across eight domains and multiple user-behavior regimes. Across our experiments, introducing dual-control interaction increases the attack success rate from \textbf{26.9\%} to \textbf{41.1\%}. These results show that agent security is not solely a property of the model but emerges from the interaction between the model, the user, and the environment. DUMA-Bench provides a missing evaluation layer for studying security in realistic agent deployments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24662v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02267v1cs.AI공통 태그 Benchmarking, RAG, Retrieval-augmented Generation

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02373v1cs.CR공통 태그 Adversarial Attack, RAG, Retrieval-augmented Generation

홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점

Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM

GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking, Retrieval-augmented Generation

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.15921v1cs.LG공통 태그 RAG, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.16008v1cs.CL공통 태그 RAG, Retrieval-augmented Generation

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

arXiv:2610.13623v1cs.CR공통 태그 Benchmarking, Adversarial Attack

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.