Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
원문 초록
We approach autonomous drone-based reforestation with a collaborative multi-agent reinforcement learning (MARL) setup. Agents can communicate as part of a dynamically changing network. We explore collaboration and communication on the back of a high-impact problem. Forests are the main resource to control rising CO2 conditions. Unfortunately, the global forest volume is decreasing at an unprecedented rate. Many areas are too large and hard to traverse to plant new trees. To efficiently cover as much area as possible, here we propose a Graph Neural Network (GNN) based communication mechanism that enables collaboration. Agents can share location information on areas needing reforestation, which increases viewed area and planted tree count. We compare our proposed communication mechanism with a multi-agent baseline without the ability to communicate. Results show how communication enables collaboration and increases collective performance, planting precision and the risk-taking propensity of individual agents.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
Multi-Step Reinforcement Learning for Single Image Super-Resolution
Multirobot Coverage of Modular Environments
SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.
JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
메모리 기반 조율: 동적 제조 환경에서 다중 에이전트 적응을 위한 그래프 구조 경험 재사용
Coordinating from Memory: Graph-Structured Experience Reuse for Multi-Agent Adaptation in Dynamic Manufacturing
동적 제조 환경에서는 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 빈번한 운영 교란 하에서 다중 에이전트 시스템이 효과적으로 조율해야 한다. 기존 다중 에이전트 강화학습 접근법은 각 교란 에피소드를 독립적으로 처리하여, 향후 적응을 가속할 수 있는 귀중한 조율 경험을 버린다. 본 논문에서는 동적 제조 환경에서의 다중 에이전트 조율을 위한 그래프 구조 경험 메모리(GSEM) 프레임워크를 제안한다. 이 프레임워크는 작업 종속성, 기계 상태, 에이전트 간 협업 패턴을 포착하는 이종 관계 그래프로 역사적 조율 에피소드를 인코딩한다. 새로운 교란이 발생하면 그래프 신경망 기반 검색 메커니즘이 구조적으로 유사한 과거 에피소드를 식별하여, 처음부터 학습하는 대신 경험 기반 정책 적응을 가능하게 한다. 세 가지 교란 유형을 포함하는 동적 유연 작업장 스케줄링 벤치마크에서의 실험 결과, GSEM은 가장 강력한 메모리 증강 기준선 대비 makespan을 4.1%-10.0% 줄이고 적응 시간을 33%-38% 단축했으며, 교란 빈도가 높을수록 이 우위가 커진다. 소거 연구와 교차 교란 전이 실험은 그래프 구조 인코딩과 유사도 기반 검색의 필요성을 추가로 검증하고, 학습된 조율 패턴의 교차 교란 일반화 가능성을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.