ClusterComm: Discrete Communication in Decentralized MARL using Internal Representation Clustering
원문 초록
In the realm of Multi-Agent Reinforcement Learning (MARL), prevailing approaches exhibit shortcomings in aligning with human learning, robustness, and scalability. Addressing this, we introduce ClusterComm, a fully decentralized MARL framework where agents communicate discretely without a central control unit. ClusterComm utilizes Mini-Batch-K-Means clustering on the last hidden layer's activations of an agent's policy network, translating them into discrete messages. This approach outperforms no communication and competes favorably with unbounded, continuous communication and hence poses a simple yet effective strategy for enhancing collaborative task-solving in MARL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
도달 가능성 목표를 갖는 턴 기반 확률적 게임에서의 PAC 학습: 기대 조건부 거리를 통한 분산형 사적 접근
PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance
도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.
Using Fuzzy Logic to Learn Abstract Policies in Large-Scale Multi-Agent Reinforcement Learning
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
Multi-Step Reinforcement Learning for Single Image Super-Resolution
Multirobot Coverage of Modular Environments
토론
이 논문과 연결된 포럼 글이 아직 없습니다.