Federated Deep Reinforcement Learning for Energy Efficient Multi-Functional RIS-Assisted Low-Earth Orbit Networks
원문 초록
In this paper, a novel network architecture that deploys the multi-functional reconfigurable intelligent surface (MF-RIS) in low-Earth orbit (LEO) is proposed. Unlike traditional RIS with only signal reflection capability, the MF-RIS can reflect, refract, and amplify signals, as well as harvest energy from wireless signals. Given the high energy demands in shadow regions where solar energy is unavailable, MF-RIS is deployed in LEO to enhance signal coverage and improve energy efficiency (EE). To address this, we formulate a long-term EE optimization problem by determining the optimal parameters for MF-RIS configurations, including amplification and phase-shifts, energy harvesting ratios, and LEO transmit beamforming. To address the complex non-convex and non-linear problem, a federated learning enhanced multi-agent deep deterministic policy gradient (FEMAD) scheme is designed. Multi-agent DDPG of each agent can provide the optimal action policy from its interaction to environments, whereas federated learning enables the hidden information exchange among multi-agents. In numerical results, we can observe significant EE improvements compared to the other benchmarks, including centralized deep reinforcement learning as well as distributed multi-agent deep deterministic policy gradient (DDPG). Additionally, the proposed LEO-MF-RIS architecture has demonstrated its effectiveness, achieving the highest EE performance compared to the scenarios of fixed/no energy harvesting in MF-RIS, traditional reflection-only RIS, and deployment without RISs/MF-RISs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
마이크로그리드 에너지 조율 연합 강화학습을 위한 제약 인식 집계
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
연합 강화학습(FedRL)은 원시 로컬 데이터를 공유하지 않고 분산 에너지 자원의 조율을 가능하게 하지만, FedAvg와 같은 표준 집계 방법은 시스템 수준의 제약을 고려하지 않아 종종 불안전한 전역 행동으로 이어진다. 본 연구에서는 분산 에너지 조율 분야의 연합 강화학습을 위한 제약 인식 집계를 연구한다. 로컬 성능과 추정된 제약 위반을 모두 서버 측 업데이트에 반영하는 집계 규칙을 제안한다. 이들 중 단순한 페널티 기반 규칙 $w_i \propto R_i - αV_i$는 이중 최적화나 로컬 학습 수정 없이 보상과 안전성 간의 가장 신뢰할 수 있는 절충을 일관되게 제공한다. 확률적 수요와 공유 전력망 용량 제약 하에서 여러 농장이 배터리 저장을 조율하는 것을 모델링하는 벤치마크 DairyGridEnv에서 접근법을 평가하고, 핀란드와 독일 FIELD 데이터셋의 실제 부하 기반 수요 프로필을 사용해 견고성을 추가로 평가한다. 여러 시드에 걸쳐, 페널티 기반 집계는 합성 및 실제 부하 기반 설정 모두에서 FedAvg 대비 보상을 향상시키면서 위반을 상당히 줄였다. 보상-위반 결합 방식은 $λ$를 통해 조절 가능한 절충을 드러내지만, 덜 안정적이다. 이러한 결과는 경량 집계 전략이 표준 통신 프로토콜을 유지하면서 연합 강화학습의 실증적 안전성을 상당히 개선할 수 있음을 보여준다.
트윈 인식 연합 강화학습을 통한 자율주행 시스템 보안
Securing Autonomous Vehicle Systems via Twin-Aware Federated Reinforcement Learning
연합 강화학습(FRL)은 원시 데이터를 공유하지 않고 다수의 에이전트에 걸친 협력 학습을 가능하게 함으로써 동적 차량 환경에서의 의사결정 과정에서 프라이버시와 확장성을 향상시키는 데 있어 핵심적이다. 그러나 포이즈닝 공격은 FRL 기반 시스템의 보안과 신뢰성에 심각한 위협을 가하며, 특히 이 취약점이 아직 충분히 탐구되지 않은 안전 필수적 자율주행 분야에서 더욱 그러하다. 이러한 공격은 악의적인 시스템 파라미터를 교묘하게 주입하여 전역 제어 모델을 손상시킴으로써 잠재적 위험을 초래할 수 있다. 이러한 도전 과제에 대응하기 위해, 우리는 안전 필수적 주행 시나리오를 위해 설계된 FRL 시스템의 견고성을 향상시키기 위한 방어 프레임워크로서 \alg(포이즈닝 방지 및 이력 강화를 갖춘 보안 집계)를 제시한다. \alg는 리허설 기반 학습을 위해 디지털 트윈을 전략적으로 통합하고, 과거의 집계된 모델 파라미터와 선택된 중심 그래디언트를 활용하여 양성 데이터만 집계되도록 보장함으로써 악의적 에이전트의 영향을 효과적으로 완화한다. 포이즈닝 공격이 존재하는 상황에서 \alg의 수렴 성능에 대한 이론적 보장이 제공된다. 또한 적대적 조건 하에서 자율주행 차량의 제어를 평가하기 위해 실제적인 고속도로 환경을 모델링하는 개발된 디지털 트윈을 사용하여 \alg의 효과를 검증한다.
스마트 그리드의 분산 안정성 제어를 위한 연합 물리 기반 강화학습
Federated Physics-Grounded Reinforcement Learning for Distributed Stability Control in Smart Grids
스마트 그리드에서의 과도 안정성 제어는 연쇄 고장을 방지하기 위해 고장 후 발전기 주파수 및 회전자 각도 편차를 신속하게 감쇠시켜야 한다. 본 논문은 FedPPO-PG를 제안한다. 이는 물리 기반 이웃 구조를 갖춘 연합 다중 에이전트 근위 정책 최적화(Federated Multi-Agent Proximal Policy Optimization) 프레임워크로, 과도 안정성 제어를 폐루프 안정성 목표에 직접 최적화되는 협력적 다중 에이전트 강화학습 문제로 재정식화한다. 각 발전기는 독립적인 로컬 액터를 보유하며, 고장 후 Kron 축소 서셉턴스 행렬에서 식별된 전기적으로 가장 강하게 결합된 두 이웃의 주파수 편차로 증강된다. 가이드 정책 초기화 단계에서는 모든 액터를 고전적 분산 제어기로부터 워밍업하고, 중앙화 학습-분산 실행(CTDE) 패러다임하에서 중앙화 비평자가 이점 추정을 안내한다. IEEE 39-버스 벤치마크 시스템 시뮬레이션에서 5가지 학습 및 3가지 미지의 고장 상황에 대해 평가한 결과, FedPPO-PG는 24회 모든 시험에서 100% 안정화를 달성하고, 중앙화 기준선 대비 평균 안정화 시간을 72.4% 단축하며, 제어 전력을 7~14배 절감한다. 각 액터는 배포 시 중앙 코디네이터 없이 독립적으로 실행되며, 액터당 추론 지연 시간은 IEEE/IEC 60255-118-1-2018 실시간 보고 요건을 충족한다.
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
토론
이 논문과 연결된 포럼 글이 아직 없습니다.