Collaborative Auto-Curricula Multi-Agent Reinforcement Learning with Graph Neural Network Communication Layer for Open-ended Wildfire-Management Resource Distribution
원문 초록
Most real-world domains can be formulated as multi-agent (MA) systems. Intentionality sharing agents can solve more complex tasks by collaborating, possibly in less time. True cooperative actions are beneficial for egoistic and collective reasons. However, teaching individual agents to sacrifice egoistic benefits for a better collective performance seems challenging. We build on a recently proposed Multi-Agent Reinforcement Learning (MARL) mechanism with a Graph Neural Network (GNN) communication layer. Rarely chosen communication actions were marginally beneficial. Here we propose a MARL system in which agents can help collaborators perform better while risking low individual performance. We conduct our study in the context of resource distribution for wildfire management. Communicating environmental features and partially observable fire occurrence help the agent collective to pre-emptively distribute resources. Furthermore, we introduce a procedural training environment accommodating auto-curricula and open-endedness towards better generalizability. Our MA communication proposal outperforms a Greedy Heuristic Baseline and a Single-Agent (SA) setup. We further demonstrate how auto-curricula and openendedness improves generalizability of our MA proposal.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
메모리 기반 조율: 동적 제조 환경에서 다중 에이전트 적응을 위한 그래프 구조 경험 재사용
Coordinating from Memory: Graph-Structured Experience Reuse for Multi-Agent Adaptation in Dynamic Manufacturing
동적 제조 환경에서는 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 빈번한 운영 교란 하에서 다중 에이전트 시스템이 효과적으로 조율해야 한다. 기존 다중 에이전트 강화학습 접근법은 각 교란 에피소드를 독립적으로 처리하여, 향후 적응을 가속할 수 있는 귀중한 조율 경험을 버린다. 본 논문에서는 동적 제조 환경에서의 다중 에이전트 조율을 위한 그래프 구조 경험 메모리(GSEM) 프레임워크를 제안한다. 이 프레임워크는 작업 종속성, 기계 상태, 에이전트 간 협업 패턴을 포착하는 이종 관계 그래프로 역사적 조율 에피소드를 인코딩한다. 새로운 교란이 발생하면 그래프 신경망 기반 검색 메커니즘이 구조적으로 유사한 과거 에피소드를 식별하여, 처음부터 학습하는 대신 경험 기반 정책 적응을 가능하게 한다. 세 가지 교란 유형을 포함하는 동적 유연 작업장 스케줄링 벤치마크에서의 실험 결과, GSEM은 가장 강력한 메모리 증강 기준선 대비 makespan을 4.1%-10.0% 줄이고 적응 시간을 33%-38% 단축했으며, 교란 빈도가 높을수록 이 우위가 커진다. 소거 연구와 교차 교란 전이 실험은 그래프 구조 인코딩과 유사도 기반 검색의 필요성을 추가로 검증하고, 학습된 조율 패턴의 교차 교란 일반화 가능성을 입증한다.
수색·구조를 위한 자율 UAV 군집의 지능형 3계층 학습 아키텍처
Intelligent Three Level Learning Architecture for Autonomous UAV Swarms in Search and Rescue
본 논문은 수색·구조 작업을 수행하는 자율 UAV 군집을 위한 새로운 3계층 계층적 학습 아키텍처를 제안한다. 모든 계층 수준에 단일 학습 패러다임을 적용하는 기존 접근과 달리, 제안 아키텍처는 반사(reflexes), 기술(skills), 추론(reasoning)의 생물학적 계층에 대응하는 세 가지 질적으로 다른 학습 메커니즘을 통합한다: 개별 에이전트 적응을 위한 Hebbian 신경가소성, 전술적 협조를 위한 그래프 신경망(GNN)과 행동 트리(Behavior Trees)를 활용한 다중 에이전트 강화학습(MARL), 그리고 전략적 의사결정을 위한 BDI 추론과 디지털 트윈을 갖춘 모델 불변 메타 학습(model-agnostic meta learning). 아키텍처는 BDI, Behavior Trees, GNN, MARL, Neuroplasticity, Meta Learning 등 6개 구성요소에 걸쳐 22개의 아키텍처 계약으로 형식화되며, 이들은 안전성, 예산 정확성, 최적성, 활성(liveness), 기아(starvation) 자유, 계층 간 일관성과 같은 6가지 형식적 보장 클래스를 공동으로 제공한다. 우리는 3개 수준 전체의 구조화된 상호작용에서 발생하는 조합적 속성인 군집 메타 인지(Swarm Meta Cognition)를 도입하여, 군집이 자신의 인지 상태를 모니터링하고 인지 전략 간 전환을 가능하게 한다. SAR 작업 유형에 대한 5가지 구성적 진행 함수는 추상적 최적화 이론과 구체적 운용 시나리오 사이의 간극을 메운다. 주요 통합 정리는 모든 계약이 충족될 때 하이브리드 신경-기호 시스템이 6가지 보장 클래스를 모두 보존함을 확립한다. 능동 학습(active learning)이 포함된 동적 경우에 대해 5개의 새로운 계약이 프레임워크를 확장하여 인지적 회복력, 우아한 성능 저하(graceful degradation), 단조 메타 개선(monotonic meta improvement)의 3가지 추가 보장을 제공한다. 이론적 분석은 해당 아키텍처가 기존 계층적 RL 접근법의 5가지 근본적 한계를 해결함을 보여준다.
Graph Neural Networks Approach for Joint Wireless Power Control and Spectrum Allocation
Multi-Agent Reinforcement Learning Based Resource Management in MEC- and UAV-Assisted Vehicular Networks
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.