PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06866v3cs.LG

비동기 범주형 분포 시차 학습을 위한 정밀한 유한 반복 이론

A Sharp Finite-Iteration Theory for Asynchronous Categorical Distributional Temporal-Difference Learning

본 논문에서는 크라메르(Cramér) 기하에서의 스칼라 범주형 TD(CTD)와 최대 평균 불일치(MMD) 기하에서의 다변량 부호 범주형 TD(MTD)를 포괄하여, 비동기 범주형 분포 시차 학습(distributional temporal-difference) 방법의 유한 반복(finite-iteration) 거동을 연구한다. 저자들은 i.i.d. 샘플링 및 연속적인 마르코프 궤적 하에서 높은 확률의 이론적 보장을 확립한다. CTD의 경우, 분산 감소나 데이터 삭제 기법을 사용하지 않고도 실제 반환 분포에 도달하기 위한 크라메르 표본 복잡도의 주요 항이 i.i.d. 설정에서는 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2})$, 마르코프 설정에서는 $\tilde O(μ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$임을 보인다. MTD의 경우, MMD 표본 복잡도의 주요 항은 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2})$ 및 $\tilde O(μ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$이며(여기서 $c\in(0,2)$는 MMD 커널의 동차 지수), 이는 $c=1$일 때 CTD 수렴 속도로 단순화된다. 이는 저자들이 알기로 MTD에 대한 최초의 유한 반복 수렴 속도이다. 무할인 고정 지평(undiscounted fixed-horizon) 정책 평가의 경우, 동일한 분석이 i.i.d. 및 에피소딕 샘플링 하의 CTD와 MTD 고정 지평 버전에 적용되며, 유효 지평 $(1-γ)^{-1}$이 주요 항에서 지평 $H$로 대체되어 할인 설정의 수렴 속도와 일치한다. 일치하는 미니맥스(minimax) 하한은 주요 항과 내포된 1-바서슈타인(Wasserstein) 속도가 i.i.d., 마르코프, 에피소딕 샘플링 하에서 최적임을 보여준다. 종합적으로 이러한 결과들은 스칼라, 다변량, 할인 및 고정 지평 설정 전반에 걸쳐 비동기 범주형 분포 TD에 대한 통합된 비점근적(non-asymptotic) 분석을 제공하며, 주요 항에서 미니맥스 최적의 수렴 속도를 달성한다.

arXiv:2607.08444v2stat.ML

분위수 분포적 강화학습의 통계적 효율성과 추론

Statistical Efficiency and Inference of Quantile Distributional Reinforcement Learning

이 논문에서는 통계적 효율성의 관점에서 분위수 기반 분포적 강화학습(distributional reinforcement learning)을 연구한다. 우리는 분포적 정책 평가(distributional policy evaluation)에 초점을 맞추며, 그 목표는 주어진 정책 하에서 할인된 누적 보상의 분포, 즉 리턴 분포(return distribution)를 특성화하는 것이다. 리턴 분포의 유한 차원 표현을 얻기 위해, 분위수 투영 분포적 벨만 방정식(quantile-projected distributional Bellman equation)에 의해 유도된 분위수 고정점(quantile fixed point) $η_m$을 고려한다. 생성 모델에 대한 접근을 가정하여, 경험적 마르코프 결정 과정을 기반으로 추정량 $η_m^{(n)}$을 구성한다. 고정된 분위수 수 $m$에 대해, 상한 $W_\infty$ 거리 하에서 $η_m^{(n)}$과 $η_m$ 사이의 비점근적 오차 경계를 확립하며, 추정 오차가 $m$과 $n$에 대해 $\widetilde{O}(\sqrt{m/n})$으로 스케일됨을 보인다. 이는 분위수 기반 분포적 정책 평가 문제가 표본 효율적으로 해결될 수 있으며, 최적 모수적 $\sqrt{n}$ 수렴률을 달성함을 의미한다. 우리는 분위수 파라미터 $\sqrt{n}(θ_m^{(n)}-θ_m)$의 점근 분포를 유도하고 반모수 효율성 경계(semiparametric efficiency bound)를 특성화하며, 이 경계는 우리의 추정량에 의해 달성된다. 고정 차원 설정을 넘어, 분위수 수가 발산하는 점근적 체제를 조사한다. 극한 공분산 구조를 특성화하고, 이것이 분포적 정책 평가를 위한 비모수 모델의 반모수 효율성 경계와 일치함을 보임으로써, 분위수 기반 추정량이 무한 차원 극한에서도 점근적으로 효율적임을 보인다. 마지막으로, 매끄러운 함수형(smooth functionals) $\sqrt{n}(η_m^{(n)}(s)-η_m(s))f$에 대한 Berry-Esseen 정리를 확립함으로써, 분위수 투영된 리턴 분포의 함수형에 대한 통계적으로 유효한 추론의 기반을 제공한다.