한국어 초록
가우스 근사는 강화학습에서 온라인 통계적 추론의 기반을 제공한다. 본 연구는 폴리악-루퍼트 평균화를 적용한 비동기 Q 학습에서 바서슈타인 거리로 측정한 가우스 근사의 정밀한 비점근 수렴률을 확립한다. 반복 횟수를 $n$이라 하면, 상한 $\widetilde{O}(n^{-1/4})$과 로그 인자를 제외하면 이 상한과 일치하는 하한을 증명한다. 벨만 연산자의 비선형성 때문에 Q 학습은 선형 확률 근사보다 분석하기 어렵다. 비동기 갱신에서는 마르코프 잡음으로 인해 분석이 더 복잡해진다. 본 연구는 벨만 연산자의 비선형성, 마르코프 잡음, 유한 표본의 공분산 차이에서 비롯하는 오차를 각각 분리한다. 특히 벨만 연산자가 선형이어도 마르코프 잡음은 피할 수 없는 편향을 일으킨다. 이 편향과 공분산 차이 사이의 절충이 수렴률을 결정한다. 동기 설정으로 분석을 확장해 정밀한 수렴률 $\widetilde{O}(n^{-1/2})$도 확립한다.
원문 초록
Gaussian approximation provides a foundation for online statistical inference in reinforcement learning. We establish sharp non-asymptotic Gaussian approximation rates in Wasserstein distance for asynchronous Q-learning with Polyak-Ruppert averaging. We prove an upper bound of $\widetilde{O}(n^{-1/4})$, where $n$ is the number of iterations, together with a matching lower bound up to logarithmic factors. Q-learning is more challenging to analyze than linear stochastic approximation due to the nonlinearity of the Bellman operator. Asynchronous updates introduce further challenges due to Markovian noise. Our analysis separates the errors from Bellman nonlinearity, Markovian noise, and the finite-sample covariance discrepancy. In particular, we show that Markovian noise induces an unavoidable bias even when the Bellman operator is linear. The trade-off between this bias and the covariance discrepancy determines the convergence rate. We further extend our analysis to the synchronous setting and establish a sharp rate of $\widetilde{O}(n^{-1/2})$.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19850v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.