협력 다중 에이전트 강화학습을 위한 온라인 변화점 탐지
Online Change-point Detection for Cooperative Multi-Agent Reinforcement Learning
한국어 초록
협력 다중 에이전트 강화학습(MARL) 시스템은 조율된 행동을 학습하기 위해 과거 경험에 의존하지만, 학습 중 환경이나 과제 목표가 바뀌면 이러한 경험이 신뢰할 수 없게 될 수 있다. 이런 경우 에이전트는 어떻게 적응할지 결정하기 전에 상황이 바뀌었음을 인식할 방법이 먼저 필요하다. 본 논문은 보상에서 유도된 신호를 사용하여 협력 MARL에 대한 온라인 변화점 탐지를 연구한다. 우리는 에이전트의 return 스트림을 평활화하고 최근 변화를 강조하며 통계적 drift 탐지기를 적용해 유의미한 변화를 표시하는 경량의 알고리즘 독립적 탐지기인 Patterns of Past Rewards(PPR)를 제안한다. Multi-Agent Particle Environment를 바탕으로 한 맞춤 Speaker-Listener 환경에서 두 가지 통제된 비정상성 시나리오 하에 PPR을 평가했다. 결과는 탐지 속도와 알람 안정성 사이의 trade-off를 보여준다. 평활화된 return 기준선은 더 일찍 탐지하지만 반복적인 알람을 많이 발생시킨다. 반면 원시 return에 탐지기를 직접 적용하면 변화를 놓치는 경우가 많다. PPR은 중복 탐지를 제한하면서도 통제된 변화를 식별하여 보다 균형 잡힌 접근을 제공한다. 이러한 결과는 PPR이 학습 중 주요 변화를 신뢰하게 식별할 수 있게 하는 경량의 보상 기반 모니터링 도구임을 부각한다.
원문 초록
Cooperative multi-agent reinforcement learning (MARL) systems rely on past experience for learning coordinated behaviour, but this experience may become unreliable if the environment or task objective changes during training. In such cases, agents first need a way to recognize that the situation has changed before deciding how to adapt. This paper studies online change-point detection for cooperative MARL using reward-derived signals. We propose \emph{Patterns of Past Rewards} (PPR), a lightweight algorithm-agnostic detector that smooths agents' return streams, highlights recent changes, and applies a statistical drift detector to flag significant shifts. We evaluate PPR in a custom Speaker-Listener environment based on the Multi-Agent Particle Environment under two controlled non-stationarity scenarios. Our results show a trade-off between detection speed and alarm stability. A smoothed-return baseline detects earlier but produces many repeated alarms. In contrast, applying the detector directly to raw returns often misses the shift. PPR offers a more balanced approach by limiting redundant detections while still identifying the controlled shifts. These findings highlight PPR as a lightweight, reward-based monitoring tool that enables cooperative MARL systems to reliably identify major changes during training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.05298v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.