Policy Diversity for Cooperative Agents
원문 초록
Standard cooperative multi-agent reinforcement learning (MARL) methods aim to find the optimal team cooperative policy to complete a task. However there may exist multiple different ways of cooperating, which usually are very needed by domain experts. Therefore, identifying a set of significantly different policies can alleviate the task complexity for them. Unfortunately, there is a general lack of effective policy diversity approaches specifically designed for the multi-agent domain. In this work, we propose a method called Moment-Matching Policy Diversity to alleviate this problem. This method can generate different team policies to varying degrees by formalizing the difference between team policies as the difference in actions of selected agents in different policies. Theoretically, we show that our method is a simple way to implement a constrained optimization problem that regularizes the difference between two trajectory distributions by using the maximum mean discrepancy. The effectiveness of our approach is demonstrated on a challenging team-based shooter.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
상태 인식 탐험을 활용한 이중 흐름 강화학습
Dual-Flow Reinforcement Learning with State-Aware Exploration
복잡한 연속 제어 강화학습 과제에서 다봉(multimodal) 최적 행동은 불확실한 다봉 수익 분포와 함께 나타나는 경우가 많아, 신뢰할 수 있는 가치 추정과 다봉 탐험이 어렵다. 단봉 가우시안을 사용하는 기존 가치 추정 방법은 표현력을 제한하고 편향된 추정을 초래한다. 최근의 생성 정책은 다봉 행동을 표현할 수 있지만, 소수의 모드로 붕괴되어 행동 공간의 고가치 영역을 충분히 탐험하지 못하는 경우가 많다. 이러한 문제에 착안하여, 우리는 조건부 플로우 매칭(CFM)을 사용하여 연속 수익 분포와 다봉 정책 분포를 함께 모델링하는 통합 액터-크리틱 프레임워크인 Dual-Flow RL을 제안한다. 이 설계는 신뢰할 수 있는 가치 추정과 지속적인 다봉 탐험을 지원한다. 탐험을 더욱 향상시키기 위해, 정책 엔트로피와 행동 불확실성 공분산을 활용하여 상태 인식 탐험 조절을 가능하게 하는 엔트로피-공분산 탐험 조절기(ECER, Entropy-Covariance Exploration Regulator)를 도입한다. DeepMind Control Suite와 Humanoid-Bench에서의 실험 결과, Dual-Flow RL은 대부분의 과제에서 최첨단 성능을 달성하며, 기존 확산 기반 및 플로우 기반 방법을 크게 능가함을 보인다.
Minimal MMAO: 적응형 메타휴리스틱 탐색을 위한 자원 폐쇄 루프 프레임워크
Minimal MMAO: A Resource-Closed-Loop Framework for Adaptive Metaheuristic Search
공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가
A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks
본 논문은 프레임워크 자체를 다시 소개하는 대신, 더 엄격한 경험적 프로토콜 하에서 대사 다중 에이전트 최적화기(MMAO)를 평가한다. 연구는 MMAO의 폐루프 자원 할당 원리가 더 광범위하고 더 표준적이며 예산이 더 명시적으로 통제된 연속 및 이산 벤치마크에서도 신뢰성을 유지하는지를 묻는다. 완료된 주요 행렬은 각각 20개 시드를 갖는 10D와 30D의 CEC2017 함수 8개와 각각 20개 시드를 갖는 TSPLIB 인스턴스 5개를 다루며, PSO-lite, ES-lite, 반복 탐욕 2-opt 경로 기준선을 포함한 더 강력한 재현 가능 기준선과 함께 평가한다. 여기에 공동 예산, 성공률, 역할 진화, 개체군 교체에 대한 궤적 수준 진단을 추가하고, 이산 증거를 경로 문제 너머로 확장하기 위해 보조적인 OR-Library 다중 배낭 문제 일부도 더한다. 이 프로토콜 하에서 MMAO는 연속 영역과 TSPLIB 영역 모두에서 외부 기준선 집합을 뚜렷하게 능가하며, 제거 변형들은 외부 기준선보다 전체 방법에 훨씬 더 가깝게 유지된다. 결과는 시험한 영역 전반에서 내생적 자원 재분배를 뒷받침하지만, 더 정밀한 메커니즘 분리와 더 폭넓은 대회 수준 비교는 열린 과제로 남는다.
간섭 제한 다중 UAV 네트워크를 위한 전송률 인지 양자 영감 궤적 학습
Rate-Aware Quantum-Inspired Trajectory Learning for Interference-Limited Multi-UAV Networks
무인 항공기(UAV)를 공중 기지국으로 배치하는 문제는 비볼록이며 조합적이므로, 실용적인 방법들은 먼저 연속적인 공역을 균일 격자나 클러스터링 중심점 같은 유한한 후보 위치 집합으로 이산화한 뒤 그 집합 위에서 최적화한다. 유클리드 거리만으로 구성된 후보 집합은 채널을 고려하지 않아, 가시선 확률과 전체 주파수 재사용 하에서 달성 가능한 전송률을 제한하는 동일 채널 간섭을 무시한다. 어떤 최적화기도 후보 집합에 없는 위치는 선택할 수 없으므로, 기하학적 구성이 놓친 좋은 위치는 탐색이 시작되기도 전에 사라진다. 본 논문은 후보 집합 자체를 최적화 대상으로 삼는 2단계 프레임워크인 전송률 인지 양자 지원 그래프 응축(Rate-Aware Quantum-Assisted Graph Condensation, RA-QAGC)을 제안한다. 첫 번째 단계는 계층 가중 달성 가능 전송률, 평균 동일 채널 간섭, 명시적인 최소 전송률 페널티를 내장한 비용을 어닐링하여 후보 집합을 구성하며, 그 결과 간결하고 이동 가능한 경유지 그래프를 얻는다. 두 번째 단계는 분산형 독립 Q-러닝 에이전트로 해당 그래프 위의 궤적을 학습하며, 중앙집중식 결합 행동 테이블을 UAV당 하나의 간결한 테이블로 대체한다. RA-QAGC는 최근의 그래프 신경망 및 심층 Q-네트워크 기법을 포함한 일곱 가지 기준 방법보다 우선순위 계층 처리량을 21--54\% 향상시키며, 총 처리량에서는 유의미한 손실이 없고, 편대 밀도가 높아질수록 격차가 커진다. 또한 최근 항공 네트워킹 연구에서 옹호하는 양자 영감 수락 규칙을 검토하였으며, 그 터널링 하한이 시험한 어떤 편대 규모에서도 고전적 시뮬레이티드 어닐링에 비해 측정 가능한 이점을 제공하지 않는 반면, 어닐링 자체는 탐욕적 배치와 무작위 배치를 명확히 능가함을 보고한다.
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
다수의 유연한 그리드 엣지 기기를 조정하면 시간과 자본이 많이 드는 전력망 증설의 필요성을 줄일 수 있다. 다중 에이전트 강화학습이나 모방학습과 같은 인공지능(AI) 기반 제어 방법은 실시간 의사결정 확장성 덕분에 이러한 조정에 유망하다. 그러나 시스템 운영자에게는 주어진 AI 시스템이 배포에 충분히 안전한지 판단할 독립적이고 엄밀한 방법이 여전히 필요하다. 본 논문은 AI 기반 그리드 엣지 조정을 위한 \emph{유한 표본} 확률적 안전성 인증 프레임워크를 개발한다. 핵심 아이디어는 입력–AI–의사결정–평가의 전체 워크플로를 운영자가 정의한 안전 사양 하의 이진 비안전 결과로 축약한 다음, 정확한 이항 추론을 사용하여 해당 비안전 운영 확률을 인증하는 것이다. 보류된 보정 시나리오 집합이 주어지면, 이 프레임워크는 가장 엄밀한 단측 상한 인증서와 거짓 안전 인증의 확률을 제어하는 수락/거부 배포 기준을 반환한다. 인증은 향후 운영과 \emph{다를} 수 있는 보정 분포에 대한 것이므로, 우리는 명목 인증서를 AI 모델의 취약성을 조사하는 데 널리 쓰이는 개념인, 물리적으로 해석 가능한 표본 공간 적대적 공격과 추가로 결합한다. 1,000개 에이전트 AI 모델(독립 파라미터)을 사용한 그리드 엣지 유연성 조정 사례 연구를 통해, 안전성 보장과 함께 롤링 윈도우 방식의 학습–인증–배포 흐름에 적대적 공격을 통합하는 것의 가치를 검증한다.
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.