QMNet: Importance-Aware Message Exchange for Decentralized Multi-Agent Reinforcement Learning
원문 초록
To improve the performance of multi-agent reinforcement learning under the constraint of wireless resources, we propose a message importance metric and design an importance-aware scheduling policy to effectively exchange messages. The key insight is spending the precious communication resources on important messages. The message importance depends not only on the messages themselves, but also on the needs of agents who receive them. Accordingly, we propose a query-message-based architecture, called QMNet. Agents generate queries and messages with the environment observation. Sharing queries can help calculate message importance. Exchanging messages can help agents cooperate better. Besides, we exploit the message importance to deal with random access collisions in decentralized systems. Furthermore, a message prediction mechanism is proposed to compensate for messages that are not transmitted. Finally, we evaluate the proposed schemes in a traffic junction environment, where only a fraction of agents can send messages due to limited wireless resources. Results show that QMNet can extract valuable information to guarantee the system performance even when only $30\%$ of agents can share messages. By exploiting message prediction, the system can further save $40\%$ of wireless resources. The importance-aware decentralized multi-access mechanism can effectively avoid collisions, achieving almost the same performance as centralized scheduling.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DynaResize: 분리형 LLM 사후 학습을 위한 런타임 GPU 재할당
DynaResize: Runtime GPU Reallocation for Disaggregated LLM Post-Training
RL 기반 LLM 사후 학습에서는 롤아웃과 학습을 서로 다른 GPU 자원에 분리하는 방식이 점점 늘고 있지만, 정적 GPU 분할은 긴 꼬리 롤아웃 지연 하에서 심각한 파이프라인 버블을 겪는다. 본 논문은 RL 시맨틱스를 바꾸지 않으면서 단계 실행 시간의 균형을 맞추기 위해 롤아웃과 학습 사이에서 GPU를 동적으로 전환하는 런타임 GPU 재할당 시스템인 DynaResize를 제안한다. DynaResize는 리사이징을 세밀한 연산으로 분해하고, 커뮤니케이터 재사용, 제한된 상태 스테이징, 히스테리시스 기반 리사이징을 통해 시작에 결정적이지 않은 작업을 크리티컬 패스에서 제거한다. 실험 결과, DynaResize는 최적의 정적 구성 대비 end-to-end 처리량을 66.5% 향상시키고 총 실행 시간을 33% 단축할 수 있으며, 역할 전환 오버헤드의 27%를 숨길 수 있음을 보여준다.
JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
메모리 기반 조율: 동적 제조 환경에서 다중 에이전트 적응을 위한 그래프 구조 경험 재사용
Coordinating from Memory: Graph-Structured Experience Reuse for Multi-Agent Adaptation in Dynamic Manufacturing
동적 제조 환경에서는 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 빈번한 운영 교란 하에서 다중 에이전트 시스템이 효과적으로 조율해야 한다. 기존 다중 에이전트 강화학습 접근법은 각 교란 에피소드를 독립적으로 처리하여, 향후 적응을 가속할 수 있는 귀중한 조율 경험을 버린다. 본 논문에서는 동적 제조 환경에서의 다중 에이전트 조율을 위한 그래프 구조 경험 메모리(GSEM) 프레임워크를 제안한다. 이 프레임워크는 작업 종속성, 기계 상태, 에이전트 간 협업 패턴을 포착하는 이종 관계 그래프로 역사적 조율 에피소드를 인코딩한다. 새로운 교란이 발생하면 그래프 신경망 기반 검색 메커니즘이 구조적으로 유사한 과거 에피소드를 식별하여, 처음부터 학습하는 대신 경험 기반 정책 적응을 가능하게 한다. 세 가지 교란 유형을 포함하는 동적 유연 작업장 스케줄링 벤치마크에서의 실험 결과, GSEM은 가장 강력한 메모리 증강 기준선 대비 makespan을 4.1%-10.0% 줄이고 적응 시간을 33%-38% 단축했으며, 교란 빈도가 높을수록 이 우위가 커진다. 소거 연구와 교차 교란 전이 실험은 그래프 구조 인코딩과 유사도 기반 검색의 필요성을 추가로 검증하고, 학습된 조율 패턴의 교차 교란 일반화 가능성을 입증한다.
도달 가능성 목표를 갖는 턴 기반 확률적 게임에서의 PAC 학습: 기대 조건부 거리를 통한 분산형 사적 접근
PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance
도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.
자율 주문 피커의 동적 배터리 관리를 위한 심층 강화학습
Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers
창고 내 자율 이동 로봇(AMR)의 배터리 충전은 주문 처리 시간과 처리량 모두에 큰 영향을 미치는 핵심 운영 과제입니다. 본 연구에서는 로봇이 최적 충전 결정을 학습해야 하는 확률적 주문 도착 환경에서의 동적 AMR 충전 문제를 다룹니다. 전통적인 고정 규칙 기반 휴리스틱은 동적 환경에서 준최적 결과를 보이는 경우가 많고 다중 AMR 조정을 고려하지 못해 심각한 자원 비효율로 이어집니다. 이러한 한계를 극복하기 위해, 우리는 고정 충전 스테이션이 있는 다중 블록 창고에 특화된 근위 정책 최적화(PPO) 기반 심층 강화학습(DRL) 프레임워크를 제안합니다. 제안 모델은 충전 스테이션 선택과 최적 충전 시간이라는 두 가지 핵심 결정을 동적으로 학습하며, 스테이션에서의 예상 대기 시간을 명시적으로 고려합니다. 광범위한 수치 실험을 통해 제안 모델을 최신 DRL 및 전통적 휴리스틱 접근법과 벤치마크 비교하였습니다. 실험 결과, 제안한 PPO 프레임워크는 가장 강력한 기준선 대비 주문 완료율을 최대 6% 향상시키는 동시에 충전 작업에 소요되는 총 시간을 크게 단축시켰습니다. 또한, 다양한 창고 구성 및 확률적 도착률에 걸쳐 모델의 강건성을 검증하였습니다. 마지막으로, 학습된 DRL 정책을 해석함으로써 표준 벤치마크 대비 우수성에 대한 유용한 운영적 인사이트를 제공합니다.
동적 다중 차량 경로 문제를 위한 보상 밀도 휴리스틱: 성능 및 계산 효율성
Reward-Density Heuristic for Dynamic Multi-Vehicle Routing: Performance and Computational Efficiency
차량 경로 문제(VRP)와 그 변형들은 현대 물류 및 도시 이동성에서 실질적으로 가장 중요한 최적화 과제 중 하나이다. 본 연구에서는 VRP와 오리엔티어링 문제(OP)의 요소를 결합한 동적 온라인 변형을 다루며, 차량 집단이 새로운 작업이 지속적으로 도착하는 상황에서 실시간으로 재계획을 수행하면서 고정된 시간 지평선 내에 수집되는 누적 보상을 최대화해야 한다. 본 연구는 동적 다중 차량 할당을 위한 보상 밀도 휴리스틱을 제안하고 평가하며, 이를 Efficiency 휴리스틱이라 칭한다. 자율 드론 작업 할당과 도시 택시 배차라는 두 가지 응용 도메인에서 다양한 차량 집단 규모 및 작업 규모에 걸쳐 이 방법을 평가한다. 제안된 방법은 네 가지 고전적 구성 휴리스틱과 세 가지 메타휴리스틱 알고리즘(적응형 대규모 이웃 탐색(Adaptive Large Neighbourhood Search), 유전 알고리즘(Genetic Algorithm), 시뮬레이티드 어닐링(Simulated Annealing))과 동일한 조건 하에 비교된다. 테스트된 모든 구성에서 Efficiency 휴리스틱은 최고의 메타휴리스틱 알고리즘과 동등한 솔루션 품질을 달성하면서도 계획 시간은 2~3 자릿수 더 적게 요구하여, 보상 대 계산량 프론티어에서 모든 경쟁 방법에 대해 파레토 지배(Pareto dominance)를 확립한다. 이러한 결과는 실시간 할당 및 배차 시스템을 위한 실용적인 설계 원칙을 시사한다: 동적이고 시간 제약이 있는 경로 환경에서, 신중하게 설계된 탐욕적 휴리스틱은 정교한 탐색 절차와 대등한 결과를 계산 비용의 극히 일부만으로 달성할 수 있으며, 이로 인해 온라인 배포에 더 적합하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.