Stability of Multi-Agent Learning in Competitive Networks: Delaying the Onset of Chaos
원문 초록
The behaviour of multi-agent learning in competitive network games is often studied within the context of zero-sum games, in which convergence guarantees may be obtained. However, outside of this class the behaviour of learning is known to display complex behaviours and convergence cannot be always guaranteed. Nonetheless, in order to develop a complete picture of the behaviour of multi-agent learning in competitive settings, the zero-sum assumption must be lifted. Motivated by this we study the Q-Learning dynamics, a popular model of exploration and exploitation in multi-agent learning, in competitive network games. We determine how the degree of competition, exploration rate and network connectivity impact the convergence of Q-Learning. To study generic competitive games, we parameterise network games in terms of correlations between agent payoffs and study the average behaviour of the Q-Learning dynamics across all games drawn from a choice of this parameter. This statistical approach establishes choices of parameters for which Q-Learning dynamics converge to a stable fixed point. Differently to previous works, we find that the stability of Q-Learning is explicitly dependent only on the network connectivity rather than the total number of agents. Our experiments validate these findings and show that, under certain network structures, the total number of agents can be increased without increasing the likelihood of unstable or chaotic behaviours.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스트리밍 심층 강화학습이 마침내 작동하다
Streaming Deep Reinforcement Learning Finally Works
경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
ADDQ: Adaptive Distributional Double Q-Learning
Inverse Q-Learning Done Right: Offline Imitation Learning in $Q^π$-Realizable MDPs
Distributionally Robust Deep Q-Learning
A critical assessment of reinforcement learning methods for microswimmer navigation in complex flows
토론
이 논문과 연결된 포럼 글이 아직 없습니다.