arXiv:2608.04590v2 cs.AI

JUDOR: 지연 허용 네트워크에서 UAV 이동과 분산 기회적 라우팅의 공동 최적화를 위한 CTDE 기반 다중 에이전트 강화학습

JUDOR: CTDE-Based Multi-Agent Reinforcement Learning for the Co-Optimization of Joint UAV Motion and Decentralized Opportunistic Routing in Delay-Tolerant Network

Xiao Wang, Shun-Ren Yang

제출 2026-08-05

한국어 초록

지연 허용 네트워크(delay-tolerant network, DTN)의 배치가 늘어나면서, 희소하고 간헐적인 연결 환경에서 동작하기 위해 저장-운반-전달(store-carry-forward, SCF) 통신이 필수적이 되었다. 그러나 간헐적인 접촉 기회, 유한한 노드 버퍼, 제한된 메시지 생존 시간(TTL)은 메시지 전달 성능을 저하시키고 네트워크 혼잡을 유발한다. 한편 확장된 무선 통신 범위와 제어 가능한 궤적을 가진 무인 항공기(UAV)는 연결성이 나쁠 수밖에 없는 지상 노드 쌍을 연결할 수 있다. 그럼에도 기존 라우팅 기법은 UAV 이동 제어를 메시지 복제와 분리하여 다루므로, UAV의 이동성을 활용해 미래의 접촉 기회를 능동적으로 만들어내지 못한다. 본 논문은 이산적인 UAV 진행 방향 제어와 분산 기회적 라우팅의 공동 최적화에 맞춰진, 중앙집중식 학습 분산 실행(CTDE) 기반 다중 에이전트 강화학습 프레임워크인 JUDOR(Joint-UAV-Decentralized-Opportunistic-Routing)를 제시한다. 구체적으로, 긴밀하게 결합된 UAV 이동-라우팅 공동 최적화 과제를 공유 팀 보상을 가진 인수분해된 부분 관측 마르코프 결정 과정으로 모델링한다. JUDOR는 로컬 노드 실행을 위한 분산 액터와 학습에만 사용되는 중앙집중식 크리틱을 채택하며, 선택적으로 다중 시간 범위 혼잡 핫스팟 보조 지도를 사용한다. 네 가지 서로 다른 트래픽 모드에 걸친 평가에서 JUDOR는 PRoPHET과 MaxProp을 포함한 고전적 및 학습 기반 DTN 기준선 모두에 대해 일관된 성능 향상을 보이며, 실제 DTN 배치에 적합한 접촉 제한적 분산 실행을 유지한다.

원문 초록

The growing deployment of delay-tolerant networks (DTNs) has made store-carry-forward (SCF) communication indispensable for operating under sparse intermittent connectivity. However, intermittent contact opportunities, finite node buffers, and limited message time-to-live (TTL) degrade message delivery performance and induce network congestion. Yet unmanned aerial vehicles (UAVs), with extended radio coverage and controllable trajectories, can bridge ground-node pairs that would otherwise suffer poor connectivity. Nevertheless, conventional routing schemes decouple UAV motion control from message replication, and consequently fail to leverage UAV mobility to proactively create future contact opportunities. This paper presents JUDOR (Joint-UAV-Decentralized-Opportunistic-Routing), a centralized training with decentralized execution (CTDE)-based multi-agent reinforcement learning framework optimized for joint discrete UAV heading control and decentralized opportunistic routing. Specifically, we model the tightly coupled UAV motion-routing co-optimization task as a factored partially observable Markov decision process with a shared team reward. JUDOR adopts decentralized actors for local-node execution and a centralized critic used exclusively in training, with optional multi-horizon congestion-hotspot auxiliary supervision. Through evaluation across four distinct traffic modes, JUDOR yields consistent performance gains over both classical and learning-based DTN baselines, including PRoPHET and MaxProp, whilst preserving contact-limited decentralized execution suitable for real-world DTN deployments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04590v2제출 시각 미확인
  2. arXiv:2608.04590v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.