arXiv:2105.02371

Survey on Multi-Agent Q-Learning frameworks for resource management in wireless sensor network

Arvin Tashakori

제출 2021-05-05

원문 초록

This report aims to survey multi-agent Q-Learning algorithms, analyze different game theory frameworks used, address each framework's applications, and report challenges and future directions. The target application for this study is resource management in the wireless sensor network. In the first section, the author provided an introduction regarding the applications of wireless sensor networks. After that, the author presented a summary of the Q-Learning algorithm, a well-known classic solution for model-free reinforcement learning problems. In the third section, the author extended the Q-Learning algorithm for multi-agent scenarios and discussed its challenges. In the fourth section, the author surveyed sets of game-theoretic frameworks that researchers used to address this problem for resource allocation and task scheduling in the wireless sensor networks. Lastly, the author mentioned some interesting open challenges in this domain.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13901v1stat.ML공통 태그 Reinforcement Learning (RL), Q-Learning

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2610.13923v1cs.NI공통 태그 Scheduling, Management

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2609.25831v2cs.RO공통 태그 Reinforcement Learning (RL), Scheduling

때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략

Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving

최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.

arXiv:2608.24471v2cs.AI공통 태그 Q-Learning, Scheduling

민첩 관측 위성을 활용한 해상 이동 표적 관측 스케줄링을 위한 암묵적 Q-러닝 기반 개미 군집 최적화

Implicit Q-learning-bootstrapped ant colony optimization for maritime moving-target observation scheduling with agile satellites

민첩 지구 관측 위성을 활용한 해상 이동 표적 관측 스케줄링은 동적이고 순서 의존적인 조합 최적화(combinatorial optimization) 문제입니다. 해수면 표적은 지속적으로 이동하므로, 표적의 움직임과 위성 궤도 기하 구조에 따라 관측 가능 윈도우가 가변적으로 변합니다. 따라서 스케줄러는 시간 윈도우, 자세 기동 및 탑재 자원 제약 조건 하에서 작업 선택, 위성 할당, 관측 윈도우 선택, 관측 순서를 공동으로 결정해야 합니다. 본 논문에서는 다중 위성 해상 이동 표적 관측 스케줄링을 위해 암묵적 Q-러닝(implicit Q-learning)을 부트스트랩한 개미 군집 최적화(ant colony optimization) 방법인 IQACO를 제안합니다. IQACO는 작업 선택 정책을 직접 학습하는 대신, 오프라인 암묵적 Q-러닝 모듈을 구성적 개미 군집 최적화에 임베딩하여 페로몬 요인, 휴리스틱 요인 및 증발률을 적응적으로 조절합니다. 압축된 탐색 상태 표현은 페로몬 분포, 현재 및 역대 최고 해의 품질, 반복(iteration) 진행 상황을 포착합니다. 온라인 스케줄링 중에는 개미 군집 최적화가 실행 가능한 관측 시퀀스를 구성하는 동시에, 학습된 정책이 현재 탐색 상태에 맞춰 탐색 동작을 조정합니다. 다양한 규모와 위성 구성을 가진 14개 시나리오에서의 실험 결과, IQACO는 비교 알고리즘들보다 지속적으로 우수한 성능을 보였으며 기존 개미 군집 최적화 대비 평균 목적 함수 값을 2.86%~9.41% 향상시켰습니다. 추가 비교 및 보완 실험은 다양한 스케줄링 조건과 문제 설정 전반에서 본 방법의 효과성과 강건성을 입증합니다. 이러한 결과는 오프라인 가치 학습이 제약이 있는 해상 이동 표적 관측 스케줄링을 위한 효과적인 적응형 탐색 제어 메커니즘을 제공함을 보여줍니다.

arXiv:2609.27446v1cs.LG공통 태그 Q-Learning, Scheduling

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2609.23130v1cs.AI공통 태그 Scheduling, Management

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.