Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL
원문 초록
Cooperative multi-agent reinforcement learning (MARL) is making rapid progress for solving tasks in a grid world and real-world scenarios, in which agents are given different attributes and goals, resulting in different behavior through the whole multi-agent task. In this study, we quantify the agent's behavior difference and build its relationship with the policy performance via {\bf Role Diversity}, a metric to measure the characteristics of MARL tasks. We define role diversity from three perspectives: action-based, trajectory-based, and contribution-based to fully measure a multi-agent task. Through theoretical analysis, we find that the error bound in MARL can be decomposed into three parts that have a strong relation to the role diversity. The decomposed factors can significantly impact policy optimization on three popular directions including parameter sharing, communication mechanism, and credit assignment. The main experimental platforms are based on {\bf Multiagent Particle Environment (MPE)} and {\bf The StarCraft Multi-Agent Challenge (SMAC). Extensive experiments} clearly show that role diversity can serve as a robust measurement for the characteristics of a multi-agent cooperation task and help diagnose whether the policy fits the current multi-agent system for a better policy performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.
상태 인식 탐험을 활용한 이중 흐름 강화학습
Dual-Flow Reinforcement Learning with State-Aware Exploration
복잡한 연속 제어 강화학습 과제에서 다봉(multimodal) 최적 행동은 불확실한 다봉 수익 분포와 함께 나타나는 경우가 많아, 신뢰할 수 있는 가치 추정과 다봉 탐험이 어렵다. 단봉 가우시안을 사용하는 기존 가치 추정 방법은 표현력을 제한하고 편향된 추정을 초래한다. 최근의 생성 정책은 다봉 행동을 표현할 수 있지만, 소수의 모드로 붕괴되어 행동 공간의 고가치 영역을 충분히 탐험하지 못하는 경우가 많다. 이러한 문제에 착안하여, 우리는 조건부 플로우 매칭(CFM)을 사용하여 연속 수익 분포와 다봉 정책 분포를 함께 모델링하는 통합 액터-크리틱 프레임워크인 Dual-Flow RL을 제안한다. 이 설계는 신뢰할 수 있는 가치 추정과 지속적인 다봉 탐험을 지원한다. 탐험을 더욱 향상시키기 위해, 정책 엔트로피와 행동 불확실성 공분산을 활용하여 상태 인식 탐험 조절을 가능하게 하는 엔트로피-공분산 탐험 조절기(ECER, Entropy-Covariance Exploration Regulator)를 도입한다. DeepMind Control Suite와 Humanoid-Bench에서의 실험 결과, Dual-Flow RL은 대부분의 과제에서 최첨단 성능을 달성하며, 기존 확산 기반 및 플로우 기반 방법을 크게 능가함을 보인다.
Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts
EXPODE: EXploiting POlicy Discrepancy for Efficient Exploration in Multi-agent Reinforcement Learning
Minimal MMAO: 적응형 메타휴리스틱 탐색을 위한 자원 폐쇄 루프 프레임워크
Minimal MMAO: A Resource-Closed-Loop Framework for Adaptive Metaheuristic Search
공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가
A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.