cs.usask.ca

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.05298v1cs.MA

협력 다중 에이전트 강화학습을 위한 온라인 변화점 탐지

Online Change-point Detection for Cooperative Multi-Agent Reinforcement Learning

협력 다중 에이전트 강화학습(MARL) 시스템은 조율된 행동을 학습하기 위해 과거 경험에 의존하지만, 학습 중 환경이나 과제 목표가 바뀌면 이러한 경험이 신뢰할 수 없게 될 수 있다. 이런 경우 에이전트는 어떻게 적응할지 결정하기 전에 상황이 바뀌었음을 인식할 방법이 먼저 필요하다. 본 논문은 보상에서 유도된 신호를 사용하여 협력 MARL에 대한 온라인 변화점 탐지를 연구한다. 우리는 에이전트의 return 스트림을 평활화하고 최근 변화를 강조하며 통계적 drift 탐지기를 적용해 유의미한 변화를 표시하는 경량의 알고리즘 독립적 탐지기인 Patterns of Past Rewards(PPR)를 제안한다. Multi-Agent Particle Environment를 바탕으로 한 맞춤 Speaker-Listener 환경에서 두 가지 통제된 비정상성 시나리오 하에 PPR을 평가했다. 결과는 탐지 속도와 알람 안정성 사이의 trade-off를 보여준다. 평활화된 return 기준선은 더 일찍 탐지하지만 반복적인 알람을 많이 발생시킨다. 반면 원시 return에 탐지기를 직접 적용하면 변화를 놓치는 경우가 많다. PPR은 중복 탐지를 제한하면서도 통제된 변화를 식별하여 보다 균형 잡힌 접근을 제공한다. 이러한 결과는 PPR이 학습 중 주요 변화를 신뢰하게 식별할 수 있게 하는 경량의 보상 기반 모니터링 도구임을 부각한다.