arXiv:2308.08858

Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games

Songtao Feng, Ming Yin, Yu-Xiang Wang, Jing Yang, Yingbin Liang

제출 2023-08-17

원문 초록

The problem of two-player zero-sum Markov games has recently attracted increasing interests in theoretical studies of multi-agent reinforcement learning (RL). In particular, for finite-horizon episodic Markov decision processes (MDPs), it has been shown that model-based algorithms can find an $\epsilon$-optimal Nash Equilibrium (NE) with the sample complexity of $O(H^3SAB/\epsilon^2)$, which is optimal in the dependence of the horizon $H$ and the number of states $S$ (where $A$ and $B$ denote the number of actions of the two players, respectively). However, none of the existing model-free algorithms can achieve such an optimality. In this work, we propose a model-free stage-based Q-learning algorithm and show that it achieves the same sample complexity as the best model-based algorithm, and hence for the first time demonstrate that model-free algorithms can enjoy the same optimality in the $H$ dependence as model-based algorithms. The main improvement of the dependency on $H$ arises by leveraging the popular variance reduction technique based on the reference-advantage decomposition previously used only for single-agent RL. However, such a technique relies on a critical monotonicity property of the value function, which does not hold in Markov games due to the update of the policy via the coarse correlated equilibrium (CCE) oracle. Thus, to extend such a technique to Markov games, our algorithm features a key novel design of updating the reference value functions as the pair of optimistic and pessimistic value functions whose value difference is the smallest in the history in order to achieve the desired improvement in the sample efficiency.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01525v2math.OC공통 태그 Q-Learning, Multi-agent Reinforcement Learning

평균장 강화학습: 평균장 제어를 위한 이론과 알고리즘

Mean Field Reinforcement Learning: Theory and Algorithms for Mean Field Control

이 모노그래프는 평균장 상호작용과 공통 잡음을 갖는 대규모 개체군 확률 제어에서 발생하는 마르코프 결정 과정의 관점에서 평균장 강화학습을 소개한다. 다중 에이전트 강화학습과 평균장 제어 사이의 연결에서 출발하여, 대표 에이전트 학습 문제를 정식화하고, 이것이 유한 개체군 시스템과 맺는 관계를 분석하며, 일반 모형과 선형-이차 모형을 모두 연구하는 데 필요한 확률론적, 수학적, 제어이론적 틀을 전개한다. 서술에는 동적 계획법 원리, 혼돈 전파 극한, 그리고 표 기반 Q-러닝과 정책 경사 방법에 대한 이론적 분석이 포함된다. 또한 표 기반 기법과 심층 결정론적 정책 경사(deep deterministic policy gradient)와 같은 심층 강화학습 방법을 포함한 수치적 구현도 논의한다. 이 책의 목표는 독자에게 평균장 제어 이론과 강화학습 방법론 사이의 일관된 가교를 제공하는 것이며, 문제의 수학적 구조와 대규모 확률적 개체군을 위한 다루기 쉬운 학습 접근법의 설계를 강조한다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.13901v1stat.ML공통 태그 Reinforcement Learning (RL), Q-Learning

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2609.27664v1cs.AI공통 태그 Q-Learning, Multi-agent Reinforcement Learning

진화적 안정성이 학습 도달 가능성을 보장하지는 않는다: 협력 창발에 대한 다중 에이전트 강화학습 관점

Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence

협력의 창발(cooperation emergence)은 탈중앙화된 에이전트(decentralized agent)들이 다른 에이전트들의 변화하는 행동에 적응하면서 동시에 조정을 이루어야 하므로 다중 에이전트 시스템에서 핵심적인 문제입니다. 진화 게임 이론(evolutionary game theory)은 전략적으로 안정한 결과를 규명하지만, 집단 조정 동역학 하에서의 안정성이 유한 샘플 학습 에이전트들이 국소적 보상(reward) 피드백을 통해 동일한 결과에 도달할 수 있음을 반드시 의미하지는 않습니다. 본 연구에서는 정부, 플랫폼 기업, 사용자가 참여하는 투명한 거버넌스 동기 기반의 3인 에이전트 게임에서 이러한 차이를 탐구합니다. 고정된 스테이지 게임 유인에 대한 복제자 동역학(replicator dynamics)을 도출하고, 대칭적인 초기 조건 그리드에서 협력적 진화 유역(evolutionary basin)을 평가하며, 이를 세 가지 탈중앙화 가치 기반 학습자에 대한 학습 유역 추정치와 비교합니다. 학습 분석에서는 동일한 보수 환경(payoff environment) 및 결과 기준 하에서 $\varepsilon$-탐욕적(greedy) 행동 선택을 사용하는 독립 Q-학습(independent Q-learning), 스케일링된 볼츠만 탐험(scaled Boltzmann exploration), 그리고 SA--EA BQL을 활용합니다. 샘플링된 그리드에서 진화 유역의 체적은 $V_E=1.00$입니다. 실증적 학습 유역은 $\varepsilon$-IQL의 경우 $0.88$인 반면, 스케일링된 볼츠만 및 SA--EA BQL의 경우 모두 $0.00$입니다. 진단 추적 결과는 이 고정된 구성에서 더 넓은 행동 다양성과 0이 아닌 가치 분리가 협력적 결합 행동을 유지하지 못하는 실패와 공존할 수 있음을 보여줍니다. 이러한 결과는 진화적 안정성과 학습 도달 가능성(learning accessibility)이 결합된 게임-학습 시스템의 구별되는 속성임을 나타냅니다. 공유 자전거 환경은 동기 부여를 위한 적용 사례이며, 더 광범위한 기여는 명시된 다중 에이전트 학습 동역학 하에서 집단 수준의 안정성과 협력의 유한 샘플 도달 가능성을 비교하기 위한 프레임워크를 제공하는 것입니다.

arXiv:2607.21876v1cs.LG공통 태그 Q-Learning, Multi-agent Reinforcement Learning

정적 및 시변 네트워크에서의 분산 감소 Q-학습

Variance-Reduced Q-Learning over Static and Time-Varying Networks

동일한 마르코프 결정 과정(MDP)과 상호작용하는 여러 에이전트가 포함된 분산형 강화학습 문제를 조사한다. 에이전트는 네트워크를 통해 정보를 교환하여 최적 상태-행동 가치 함수를 공동으로 학습할 수 있다. 이 설정을 위해, 각 에포크 내에서 에이전트가 벨만 최적성 연산자를 국소적으로 추정하고 합의 기반 프로토콜을 사용하여 정보를 확산하는 VRDQ라는 새로운 에포크 기반 분산 $Q$-학습 알고리즘을 제안한다. 정적 및 시변 네트워크 모두에 대해, 협력으로부터 선형 속도 향상(linear speedups)을 누리는 VRDQ의 고확률 유한 시간 수렴률을 확립한다. 중요하게도, 표본 복잡도(sample-complexity)에서의 이러한 속도 향상이 $\tilde{O}(1)$의 통신만을 필요로 함을 증명하며, 이는 기존 연구의 통신 비용을 크게 개선한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.