arXiv:2011.01840

Distributional Reinforcement Learning for mmWave Communications with Intelligent Reflectors on a UAV

Qianqian Zhang, Walid Saad, Mehdi Bennis

제출 2020-11-03

원문 초록

In this paper, a novel communication framework that uses an unmanned aerial vehicle (UAV)-carried intelligent reflector (IR) is proposed to enhance multi-user downlink transmissions over millimeter wave (mmWave) frequencies. In order to maximize the downlink sum-rate, the optimal precoding matrix (at the base station) and reflection coefficient (at the IR) are jointly derived. Next, to address the uncertainty of mmWave channels and maintain line-of-sight links in a real-time manner, a distributional reinforcement learning approach, based on quantile regression optimization, is proposed to learn the propagation environment of mmWave communications, and, then, optimize the location of the UAV-IR so as to maximize the long-term downlink communication capacity. Simulation results show that the proposed learning-based deployment of the UAV-IR yields a significant advantage, compared to a non-learning UAV-IR, a static IR, and a direct transmission schemes, in terms of the average data rate and the achievable line-of-sight probability of downlink mmWave communications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08444v2stat.ML공통 태그 quantile regression, Distributional Reinforcement Learning

분위수 분포적 강화학습의 통계적 효율성과 추론

Statistical Efficiency and Inference of Quantile Distributional Reinforcement Learning

이 논문에서는 통계적 효율성의 관점에서 분위수 기반 분포적 강화학습(distributional reinforcement learning)을 연구한다. 우리는 분포적 정책 평가(distributional policy evaluation)에 초점을 맞추며, 그 목표는 주어진 정책 하에서 할인된 누적 보상의 분포, 즉 리턴 분포(return distribution)를 특성화하는 것이다. 리턴 분포의 유한 차원 표현을 얻기 위해, 분위수 투영 분포적 벨만 방정식(quantile-projected distributional Bellman equation)에 의해 유도된 분위수 고정점(quantile fixed point) $η_m$을 고려한다. 생성 모델에 대한 접근을 가정하여, 경험적 마르코프 결정 과정을 기반으로 추정량 $η_m^{(n)}$을 구성한다. 고정된 분위수 수 $m$에 대해, 상한 $W_\infty$ 거리 하에서 $η_m^{(n)}$과 $η_m$ 사이의 비점근적 오차 경계를 확립하며, 추정 오차가 $m$과 $n$에 대해 $\widetilde{O}(\sqrt{m/n})$으로 스케일됨을 보인다. 이는 분위수 기반 분포적 정책 평가 문제가 표본 효율적으로 해결될 수 있으며, 최적 모수적 $\sqrt{n}$ 수렴률을 달성함을 의미한다. 우리는 분위수 파라미터 $\sqrt{n}(θ_m^{(n)}-θ_m)$의 점근 분포를 유도하고 반모수 효율성 경계(semiparametric efficiency bound)를 특성화하며, 이 경계는 우리의 추정량에 의해 달성된다. 고정 차원 설정을 넘어, 분위수 수가 발산하는 점근적 체제를 조사한다. 극한 공분산 구조를 특성화하고, 이것이 분포적 정책 평가를 위한 비모수 모델의 반모수 효율성 경계와 일치함을 보임으로써, 분위수 기반 추정량이 무한 차원 극한에서도 점근적으로 효율적임을 보인다. 마지막으로, 매끄러운 함수형(smooth functionals) $\sqrt{n}(η_m^{(n)}(s)-η_m(s))f$에 대한 Berry-Esseen 정리를 확립함으로써, 분위수 투영된 리턴 분포의 함수형에 대한 통계적으로 유효한 추론의 기반을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.