Distributed Q-Learning with State Tracking for Multi-agent Networked Control
원문 초록
This paper studies distributed Q-learning for Linear Quadratic Regulator (LQR) in a multi-agent network. The existing results often assume that agents can observe the global system state, which may be infeasible in large-scale systems due to privacy concerns or communication constraints. In this work, we consider a setting with unknown system models and no centralized coordinator. We devise a state tracking (ST) based Q-learning algorithm to design optimal controllers for agents. Specifically, we assume that agents maintain local estimates of the global state based on their local information and communications with neighbors. At each step, every agent updates its local global state estimation, based on which it solves an approximate Q-factor locally through policy iteration. Assuming decaying injected excitation noise during the policy evaluation, we prove that the local estimation converges to the true global state, and establish the convergence of the proposed distributed ST-based Q-learning algorithm. The experimental studies corroborate our theoretical results by showing that our proposed method achieves comparable performance with the centralized case.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
불확실성 하에서의 의사결정 기반 지오스티어링: 순차적 의사결정 최적화를 위한 통합 프레임워크
Decision-Driven Geosteering Under Uncertainty: A Unified Framework for Sequential Decision Optimization
지오스티어링은 알려지지 않은 지질 구성을 통해 시추궤적을 탐색해야 하며, 시추 중 획득한 간접 측정을 기반으로 의사결정을 순차적으로 업데이트해야 합니다. 본 연구는 확률적 지하 해석을 위한 파티클 필터링과 순차적 의사결정을 위한 가치 기반 강화학습을 긴밀하게 통합한 불확실성 인식 지오스티어링 프레임워크를 제시합니다. 드릴 비트 전방의 지질적 불확실성은 파티클 필터(PF)를 통해 명시적으로 표현되어, 결정론적 궤적 보정 대신 신념(belief) 기반 제어를 가능하게 합니다. 해당 프레임워크는 PF 신념 업데이트와 신념 기반 의사결정 정책을 결합하며, 동일한 불확실성 표현 하에서 작동하는 세 가지 의사결정 옵션을 평가합니다: 해석 가능한 근사 동적 프로그래밍(ADP) 방식, 딥 Q-러닝 기준선(baseline), 그리고 안정성을 위해 타겟 Q-네트워크 방식으로 훈련되고 Q-값 파라미터화에 듀얼(가치/이점) 분해를 사용하는 이중 딥 강화학습(Dual DRL) 아키텍처입니다. 최종 배치 성능 외에도, 시간에 따른 조종 평활성을 정량화하는 안정성 지향 메트릭을 사용하여 정책 행동을 평가함으로써, 불확실성이 변화함에 따라 의사결정 정책이 어떻게 반응하는지에 대한 추가적인 운영적 통찰을 제공합니다. 이 프레임워크는 API와 통합되어 사실적인 측정 노이즈와 시추 제약 조건 하에서 산업용 지오스티어링 시뮬레이터 내에서 검증(validation)되었습니다. 방법 간에 동일한 지질 실현, 운영 한계 및 보상(reward) 정의를 사용하여, 본 실험은 최종 시추궤적에서만 성능을 평가하는 것이 아니라 시추 과정 전반에 걸쳐 대안적인 의사결정 정책이 어떻게 행동하는지에 대한 통제되고 고충실도의 평가를 제공합니다.
Nash Equilibrium Between Consumer Electronic Devices and DoS Attacker for Distributed IoT-enabled RSE Systems
State Estimation Using Particle Filtering in Adaptive Machine Learning Methods: Integrating Q-Learning and NEAT Algorithms with Noisy Radar Measurements
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
ADDQ: Adaptive Distributional Double Q-Learning
Recursive KalmanNet: Deep Learning-Augmented Kalman Filtering for State Estimation with Consistent Uncertainty Quantification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.