DUMA-Bench: LLM 에이전트 보안 평가를 위한 이중 제어 멀티에이전트 벤치마크
DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security
LLM 기반 에이전트는 사용자, 도구, 외부 시스템과 상호작용하는 환경에서 점점 더 많이 운영되고 있다. 그러나 대부분의 보안 평가는 수동적인 사용자와 정적 제어를 가정하여, 실제 에이전트 행동을 형성하는 상호작용적 역학을 무시한다. 우리는 에이전트와 사용자 모두가 공유 환경 상태에 영향을 미칠 수 있는 이중 제어(dual-control) 상호작용 하에서 에이전트 보안을 측정하기 위한 벤치마크 및 평가 프로토콜인 DUMA-Bench를 소개한다. DUMA-Bench는 τ²-bench를 확장하여 RAG 오염, 크로스 에이전트 조작, 안전하지 않은 출력 처리를 포함한 8개의 취약점 클래스를 다루는 적대적 환경을 제공한다. 우리는 5개 모델 패밀리(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)에 속한 14개 모델을 8개 도메인과 다양한 사용자 행동 체제에 걸쳐 평가한다. 실험 전반에 걸쳐, 이중 제어 상호작용을 도입하면 공격 성공률이 26.9%에서 41.1%로 증가한다. 이러한 결과는 에이전트 보안이 모델만의 속성이 아니라 모델, 사용자, 환경 간의 상호작용에서 발생함을 보여준다. DUMA-Bench는 현실적인 에이전트 배포 환경에서 보안을 연구하기 위해 그동안 부재했던 평가 층을 제공한다.