arXiv:2405.00056

Age of Information Minimization using Multi-agent UAVs based on AI-Enhanced Mean Field Resource Allocation

Yousef Emami, Hao Gao, Kai Li, Luis Almeida, Eduardo Tovar, Zhu Han

제출 2024-04-24

원문 초록

Unmanned Aerial Vehicle (UAV) swarms play an effective role in timely data collection from ground sensors in remote and hostile areas. Optimizing the collective behavior of swarms can improve data collection performance. This paper puts forth a new mean field flight resource allocation optimization to minimize age of information (AoI) of sensory data, where balancing the trade-off between the UAVs movements and AoI is formulated as a mean field game (MFG). The MFG optimization yields an expansive solution space encompassing continuous state and action, resulting in significant computational complexity. To address practical situations, we propose, a new mean field hybrid proximal policy optimization (MF-HPPO) scheme to minimize the average AoI by optimizing the UAV's trajectories and data collection scheduling of the ground sensors given mixed continuous and discrete actions. Furthermore, a long short term memory (LSTM) is leveraged in MF-HPPO to predict the time-varying network state and stabilize the training. Numerical results demonstrate that the proposed MF-HPPO reduces the average AoI by up to 45 percent and 57 percent in the considered simulation setting, as compared to multi-agent deep Q-learning (MADQN) method and non-learning random algorithm, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.24471v2cs.AI공통 태그 Q-Learning, Scheduling

민첩 관측 위성을 활용한 해상 이동 표적 관측 스케줄링을 위한 암묵적 Q-러닝 기반 개미 군집 최적화

Implicit Q-learning-bootstrapped ant colony optimization for maritime moving-target observation scheduling with agile satellites

민첩 지구 관측 위성을 활용한 해상 이동 표적 관측 스케줄링은 동적이고 순서 의존적인 조합 최적화(combinatorial optimization) 문제입니다. 해수면 표적은 지속적으로 이동하므로, 표적의 움직임과 위성 궤도 기하 구조에 따라 관측 가능 윈도우가 가변적으로 변합니다. 따라서 스케줄러는 시간 윈도우, 자세 기동 및 탑재 자원 제약 조건 하에서 작업 선택, 위성 할당, 관측 윈도우 선택, 관측 순서를 공동으로 결정해야 합니다. 본 논문에서는 다중 위성 해상 이동 표적 관측 스케줄링을 위해 암묵적 Q-러닝(implicit Q-learning)을 부트스트랩한 개미 군집 최적화(ant colony optimization) 방법인 IQACO를 제안합니다. IQACO는 작업 선택 정책을 직접 학습하는 대신, 오프라인 암묵적 Q-러닝 모듈을 구성적 개미 군집 최적화에 임베딩하여 페로몬 요인, 휴리스틱 요인 및 증발률을 적응적으로 조절합니다. 압축된 탐색 상태 표현은 페로몬 분포, 현재 및 역대 최고 해의 품질, 반복(iteration) 진행 상황을 포착합니다. 온라인 스케줄링 중에는 개미 군집 최적화가 실행 가능한 관측 시퀀스를 구성하는 동시에, 학습된 정책이 현재 탐색 상태에 맞춰 탐색 동작을 조정합니다. 다양한 규모와 위성 구성을 가진 14개 시나리오에서의 실험 결과, IQACO는 비교 알고리즘들보다 지속적으로 우수한 성능을 보였으며 기존 개미 군집 최적화 대비 평균 목적 함수 값을 2.86%~9.41% 향상시켰습니다. 추가 비교 및 보완 실험은 다양한 스케줄링 조건과 문제 설정 전반에서 본 방법의 효과성과 강건성을 입증합니다. 이러한 결과는 오프라인 가치 학습이 제약이 있는 해상 이동 표적 관측 스케줄링을 위한 효과적인 적응형 탐색 제어 메커니즘을 제공함을 보여줍니다.

arXiv:2609.27446v1cs.LG공통 태그 Q-Learning, Scheduling

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2605.22432v3cs.LG공통 태그 Scheduling

AMUSE: 안정적 그래디언트 평가를 갖춘 Anytime Muon

AMUSE: Anytime Muon with Stable Gradient Evaluation

현대 심층 학습은 일반적으로 지정된 학습률 스케줄과 함께 AdamW에 의존하지만, 최근 연구들은 두 요소 모두에 이의를 제기한다. Schedule-Free 최적화는 반복 평균화를 통해 명시적 스케줄을 제거하고, Muon은 행렬 파라미터에 대해 모멘텀을 직교화함으로써 업데이트 기하학을 개선한다. Muon의 강력한 실증적 성능에도 불구하고, 그 근본 메커니즘은 부분적으로만 이해되고 있다. 우리는 river-valley 손실 지형을 통해 Muon을 연구한다. 여기서 유용한 학습 진행은 평탄하고 낮은 곡률의 bulk 부분공간(river)을 따라 이루어지며, 높은 곡률의 지배적 방향은 가파른 계곡 벽(valley walls)을 형성하여 진동을 유발한다. 우리는 실증적으로 Muon의 직교화가 bulk 성분을 증가시켜 river 진행을 가속하지만, 동시에 지배적 방향 노이즈를 증폭하여 진동하는 궤적을 유발함을 보인다. 이를 바탕으로, 우리는 Muon의 빠른 bulk 진행과 Schedule-Free 평균화의 안정화 효과를 통합하는 Anytime Muon with Stable Gradient Evaluation(AMUSE)를 제안한다. AMUSE는 시간에 따라 변하는 보간 계수를 사용하여, 초기에는 빠른 Muon 시퀀스 근처에서 그래디언트를 평가하여 신속한 적응을 이루고, 이후 점진적으로 안정적인 평균화된 시퀀스 쪽으로 이동하여 계곡 벽 진동을 억제한다. 그 결과 AMUSE는 학습률 스케줄이 필요 없으며 anytime 학습을 지원한다. 비전 태스크와 대규모 언어 모델 사전학습 전반에 걸쳐, AMUSE는 (Schedule-Free) AdamW 및 Muon 대비 성능-반복 파레토 프론티어를 일관되게 개선한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.