arXiv:2202.03558

Attacking c-MARL More Effectively: A Data Driven Approach

Nhan H. Pham, Lam M. Nguyen, Jie Chen, Hoang Thanh Lam, Subhro Das, Tsui-Wei Weng

제출 2022-02-07

원문 초록

In recent years, a proliferation of methods were developed for cooperative multi-agent reinforcement learning (c-MARL). However, the robustness of c-MARL agents against adversarial attacks has been rarely explored. In this paper, we propose to evaluate the robustness of c-MARL agents via a model-based approach, named c-MBA. Our proposed formulation can craft much stronger adversarial state perturbations of c-MARL agents to lower total team rewards than existing model-free approaches. In addition, we propose the first victim-agent selection strategy and the first data-driven approach to define targeted failure states where each of them allows us to develop even stronger adversarial attack without the expert knowledge to the underlying environment. Our numerical experiments on two representative MARL benchmarks illustrate the advantage of our approach over other baselines: our model-based attack consistently outperforms other baselines in all tested environments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28182v2cs.AI공통 태그 Adversarial Attack, Multi-agent Reinforcement Learning

AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증

Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination

다수의 유연한 그리드 엣지 기기를 조정하면 시간과 자본이 많이 드는 전력망 증설의 필요성을 줄일 수 있다. 다중 에이전트 강화학습이나 모방학습과 같은 인공지능(AI) 기반 제어 방법은 실시간 의사결정 확장성 덕분에 이러한 조정에 유망하다. 그러나 시스템 운영자에게는 주어진 AI 시스템이 배포에 충분히 안전한지 판단할 독립적이고 엄밀한 방법이 여전히 필요하다. 본 논문은 AI 기반 그리드 엣지 조정을 위한 \emph{유한 표본} 확률적 안전성 인증 프레임워크를 개발한다. 핵심 아이디어는 입력–AI–의사결정–평가의 전체 워크플로를 운영자가 정의한 안전 사양 하의 이진 비안전 결과로 축약한 다음, 정확한 이항 추론을 사용하여 해당 비안전 운영 확률을 인증하는 것이다. 보류된 보정 시나리오 집합이 주어지면, 이 프레임워크는 가장 엄밀한 단측 상한 인증서와 거짓 안전 인증의 확률을 제어하는 수락/거부 배포 기준을 반환한다. 인증은 향후 운영과 \emph{다를} 수 있는 보정 분포에 대한 것이므로, 우리는 명목 인증서를 AI 모델의 취약성을 조사하는 데 널리 쓰이는 개념인, 물리적으로 해석 가능한 표본 공간 적대적 공격과 추가로 결합한다. 1,000개 에이전트 AI 모델(독립 파라미터)을 사용한 그리드 엣지 유연성 조정 사례 연구를 통해, 안전성 보장과 함께 롤링 윈도우 방식의 학습–인증–배포 흐름에 적대적 공격을 통합하는 것의 가치를 검증한다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2607.21619v1cs.CL공통 태그 reinforcement-learning, Adversarial Attack

적대적 스타일 최적화: GRPO 기반 스타일 트리거 최적화를 통한 VLM 탈옥 강화

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.