arXiv:2112.15156

Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal Difference and Successor Representation

Mohammad Salimibeni, Arash Mohammadi, Parvin Malekzadeh, Konstantinos N. Plataniotis

제출 2021-12-30

원문 초록

Distributed Multi-Agent Reinforcement Learning (MARL) algorithms has attracted a surge of interest lately mainly due to the recent advancements of Deep Neural Networks (DNNs). Conventional Model-Based (MB) or Model-Free (MF) RL algorithms are not directly applicable to the MARL problems due to utilization of a fixed reward model for learning the underlying value function. While DNN-based solutions perform utterly well when a single agent is involved, such methods fail to fully generalize to the complexities of MARL problems. In other words, although recently developed approaches based on DNNs for multi-agent environments have achieved superior performance, they are still prone to overfiting, high sensitivity to parameter selection, and sample inefficiency. The paper proposes the Multi-Agent Adaptive Kalman Temporal Difference (MAK-TD) framework and its Successor Representation-based variant, referred to as the MAK-SR. Intuitively speaking, the main objective is to capitalize on unique characteristics of Kalman Filtering (KF) such as uncertainty modeling and online second order learning. The proposed MAK-TD/SR frameworks consider the continuous nature of the action-space that is associated with high dimensional multi-agent environments and exploit Kalman Temporal Difference (KTD) to address the parameter uncertainty. By leveraging the KTD framework, SR learning procedure is modeled into a filtering problem, where Radial Basis Function (RBF) estimators are used to encode the continuous space into feature vectors. On the other hand, for learning localized reward functions, we resort to Multiple Model Adaptive Estimation (MMAE), to deal with the lack of prior knowledge on the observation noise covariance and observation mapping function. The proposed MAK-TD/SR frameworks are evaluated via several experiments, which are implemented through the OpenAI Gym MARL benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2607.19913v1cs.AI공통 태그 reinforcement-learning, Multi-agent Reinforcement Learning

JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견

JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety

에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.

arXiv:2607.14877v1cs.LG공통 태그 reinforcement-learning, Multi-agent Reinforcement Learning

도달 가능성 목표를 갖는 턴 기반 확률적 게임에서의 PAC 학습: 기대 조건부 거리를 통한 분산형 사적 접근

PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance

도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.