arXiv:2606.12918v1 cs.CR

MAStrike: 다중 에이전트 시스템에 대한 Shapley 기반 공모적 레드팀 테스팅

MAStrike: Shapley-Guided Collusive Red-Teaming on Multi-Agent Systems

Chejian Xu, Zhaorun Chen, Jingyang Zhang, Freddy Lecue, Avni Kothari, Sarah Tan, Wenbo Guo, Bo Li

제출 2026-06-11

한국어 초록

계층적 다중 에이전트 시스템(MAS)은 금융 및 소프트웨어 공학과 같은 도메인에서 고위험 워크플로에 급속도로 배포되고 있다. 이러한 시스템에서 안전성과 보안은 역할 특화된 에이전트들에 본질적으로 분산되어 있어, 권한 상승(privilege escalation) 및 에이전트 간 공모(cross-agent collusion)와 같은 조직적 적대 행동에 의해 공격 표면이 크게 확장된다. MAS에 대한 기존 레드팀 테스팅 접근법은 여전히 한계가 있다. 즉, 대상 에이전트를 휴리스틱 방식으로 선정하고 고립된 메시지 스트림을 교란하는 방식에 의존하며, 어떤 에이전트가 시스템 안전성에 가장 큰 책임을 지는지, 그리고 침해된 에이전트들이 방어를 우회하기 위해 어떻게 협력할 수 있는지라는 핵심 질문에 답을 제시하지 못한다. 우리는 계층적 MAS에서의 공모적 레드팀 테스팅을 위한 폐루프(closed-loop) 프레임워크인 MAStrike를 제안한다. 우리는 MAS에 대한 최초의 에이전트 수준 Shapley value 분석을 제안하며, 이를 통해 태스크 특화 분포 하에서 시스템 강건성에 대한 각 에이전트의 한계 기여도를 정량화한다. 이 귀인(attribution) 결과에 따라 MAStrike는 취약한 에이전트 연합을 식별하고, 조정되고 역할을 인식한 적대적 조작을 생성한다. 이러한 공격은 구조화된 인과 진단을 통해 반복적으로 정제되며, 적대적 시도를 차단하는 비침해 에이전트에 실패 사례를 귀인한다. 우리는 나아가 금융, 소프트웨어 공학, CRM을 포함한 다양한 계층적 토폴로지와 도메인에 걸친 제어 가능한 환경과 포괄적인 MAS 레드팀 테스팅 벤치마크를 구축한다. 여러 최신 프런티어 모델 기반의 MAS에 걸친 광범위한 실험 결과, MAStrike는 휴리스틱 기반 베이스라인을 크게 능가함을 보인다. 우리의 분석은 나아가 에이전트 간 비자명한(non-trivial) Shapley value 분포와 고차 상호작용 구조를 밝혀내어, 기존의 단일 에이전트 또는 템플릿 기반 방법이 간과했던 중요한 취약점과 조정 패턴을 드러낸다.

원문 초록

Hierarchical multi-agent systems (MAS) are rapidly being deployed in high-stakes workflows across domains such as finance and software engineering. In these systems, safety and security are inherently distributed across role-specialized agents, significantly expanding the attack surface, particularly under coordinated adversarial behaviors such as privilege escalation and cross-agent collusion. Existing red-teaming approaches for MAS remain limited: they rely on heuristic selection of target agents and perturb isolated message streams, leaving critical questions unanswered as which agents are most responsible for system safety, and how compromised agents can coordinate to bypass defenses. We propose MAStrike, a closed-loop framework for collusive red-teaming in hierarchical MAS. We propose the first agent-level Shapley value analysis for MAS, quantifying each agent's marginal contribution to system robustness under task-specific distributions. GGuided by this attribution, MAStrike identifies vulnerable agent coalitions and generates coordinated, role-aware adversarial manipulations. These attacks are iteratively refined through structured causal diagnosis, attributing failure cases to uncompromised agents that block adversarial attempts. We further build a comprehensive MAS red-teaming benchmark and controllable environments spanning diverse hierarchical topologies and domains, including finance, software engineering, and CRM. Extensive experiments across MAS built on multiple frontier models show that MAStrike substantially outperforms heuristic baselines. Our analysis further uncovers non-trivial Shapley value distributions and higher-order interaction structures among agents, revealing critical vulnerabilities and coordination patterns that are overlooked by prior single-agent or template-based methods.

요약

계층적 다중 에이전트 시스템(MAS)의 보안 취약점을 분석하기 위해 에이전트 수준의 Shapley value를 활용하여 취약한 연합을 식별하고 조정된 적대적 공격을 생성하는 MAStrike라는 레드팀 테스팅 프레임워크를 제안합니다. 다양한 최신 모델 기반의 MAS에서 수행된 광범위한 실험 결과, MAStrike는 기존 휴리스틱 기반 방법보다 월등히 우수한 성능을 보이며 에이전트 간의 중요한 상호작용 구조를 밝혀냈습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12918v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13886v1cs.AI공통 태그 Adversarial Attack, red-teaming

X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.

arXiv:2609.39788v2cs.AI공통 태그 Adversarial Attack, multi-agent systems

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2610.00430v1cs.SI공통 태그 Adversarial Attack, multi-agent systems

밈적 트로이목마: 에이전트 네트워크에서 적대적 페이로드의 매개체로서의 사회적 전염

Memetic Trojans: Social Contagions as Carriers of Adversarial Payloads in Agent Networks

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.

arXiv:2609.15364v2cs.AI공통 태그 Causal Inference, multi-agent systems

RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험

RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments

디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.

arXiv:2607.21125v1cs.CV공통 태그 Causal Inference, multi-agent systems

Causal-AgentIR: 적응형 이미지 복원 에이전트를 위한 자기 진화형 인과 메모리

Causal-AgentIR: Self-Evolving Causal Memory for Adaptive Image Restoration Agents

최근 이미지 복원 에이전트는 실제 시나리오에서 다양하고 예측 불가능한 열화를 처리하는 유연한 패러다임으로 등장했다. 기존 에이전트는 일반적으로 복원을 도구 사용 프로세스로 공식화하는데, 에이전트가 열화를 인지하고, 후보 도구를 검색하며, 복원 연산을 실행하고, 반성(reflection)이나 롤백(rollback)을 통해 계획을 수정한다. 그러나 그들의 지식은 종종 정적 도구 설명, 수동으로 정의된 열화 사전(prior), 또는 비구조화된 텍스트 요약으로 저장되어, 장기 경험에 걸친 복원 지식의 축적, 검증, 수정, 망각을 제한한다. 본 논문에서는 자기 진화형 인과 메모리를 갖춘 계층적 다중 에이전트 프레임워크 Causal-AgentIR을 제안하여, 집단적 이미지 복원 지능을 구현한다. 복원 경험을 고립된 텍스트 기록으로 표현하는 대신, Causal-AgentIR은 열화 패턴, 이미지 영역, 복원 도구, 행동, 품질 변화, 사용자 선호를 구조화된 인과 메모리 그래프로 조직한다. 이 그래프는 그래프 기반 검색과 다중 홉(multi-hop) 인과 추론을 지원하여, 에이전트가 특정 복원 연산이나 도구 시퀀스가 서로 다른 열화 조건에서 복원 품질에 어떻게 영향을 미치는지 추론할 수 있게 한다. 프레임워크는 또한 계획, 열화 분석, 도구 전문성, 인과 메모리 추론, 결과 비평, 메모리 큐레이션을 포함하는 협력 시스템으로 여러 에이전트를 조직한다. 이 설계를 통해 복원 경험은 관찰된 품질 변화와 피드백에 따라 추가, 갱신, 병합, 강화, 무시, 또는 폐기될 수 있어, 에이전트가 신뢰할 수 있고 전이 가능한(transferable) 복원 지식을 유지할 수 있다. 광범위한 실험을 통해 제안 프레임워크의 효과가 입증되었다.

arXiv:2607.19351v1cs.AI공통 태그 Adversarial Attack, multi-agent systems

OpenEvoShield: 개방 세계 다중 에이전트 시스템 공격에 대한 이중 비정상 지속적 방어

OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks

LLM 기반 다중 에이전트 시스템(LLM-MAS)은 안전이 중요한(safety-critical) 응용 분야에 점점 더 배포되고 있으며, 여기서 적대자는 에이전트 간 통신을 통해 악의적 지시를 주입하여 유해한 행동을 전파한다. 정적 위협과 달리, 이러한 공격은 이중으로 동적이다: 적대자는 배포된 방어에 맞춰 주입 전략을 정교화하는 한편, 정상 에이전트의 행동은 시스템 확장에 따라 변화(drift)한다. 기존 방어는 배포를 폐쇄 세계(closed-world) 문제로 다루며, 어느 한쪽의 분포가 학습 커버리지를 벗어나면 급격히 성능이 저하된다. 우리는 LLM-MAS를 위한 공진화(co-evolutionary) 지속적 방어 프레임워크인 OpenEvoShield를 제안한다. 비대칭 속도 제어기(M1)는 이중 드리프트 신호로부터 빠른 공격 측과 느린 정상 측의 학습률을 분리한다. 정상 경계 업데이터(M2)는 느린 속도로 동적 행동 경계를 유지하고, EWC 정규화된 정책 앙상블(M3)은 치명적 망각(catastrophic forgetting) 없이 빠르게 적응한다. 에너지 기반 다중 세분성 탐지기(M4)는 노드, 서브그래프, 그래프 수준의 증거를 융합하여 새로운 공격을 분포 외(out-of-distribution)로 분류한다. 5개 벤치마크와 4가지 MAS 토폴로지에 걸친 100회 배포 라운드에 대한 실험 결과, OpenEvoShield는 정적 및 지속적 베이스라인을 능가하며, 대부분의 이전에 보지 못한 공격을 탐지하면서 거짓 양성(false positive) 비율을 낮게 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.