비동기 범주형 분포 시차 학습을 위한 정밀한 유한 반복 이론
A Sharp Finite-Iteration Theory for Asynchronous Categorical Distributional Temporal-Difference Learning
본 논문에서는 크라메르(Cramér) 기하에서의 스칼라 범주형 TD(CTD)와 최대 평균 불일치(MMD) 기하에서의 다변량 부호 범주형 TD(MTD)를 포괄하여, 비동기 범주형 분포 시차 학습(distributional temporal-difference) 방법의 유한 반복(finite-iteration) 거동을 연구한다. 저자들은 i.i.d. 샘플링 및 연속적인 마르코프 궤적 하에서 높은 확률의 이론적 보장을 확립한다. CTD의 경우, 분산 감소나 데이터 삭제 기법을 사용하지 않고도 실제 반환 분포에 도달하기 위한 크라메르 표본 복잡도의 주요 항이 i.i.d. 설정에서는 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2})$, 마르코프 설정에서는 $\tilde O(μ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$임을 보인다. MTD의 경우, MMD 표본 복잡도의 주요 항은 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2})$ 및 $\tilde O(μ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$이며(여기서 $c\in(0,2)$는 MMD 커널의 동차 지수), 이는 $c=1$일 때 CTD 수렴 속도로 단순화된다. 이는 저자들이 알기로 MTD에 대한 최초의 유한 반복 수렴 속도이다. 무할인 고정 지평(undiscounted fixed-horizon) 정책 평가의 경우, 동일한 분석이 i.i.d. 및 에피소딕 샘플링 하의 CTD와 MTD 고정 지평 버전에 적용되며, 유효 지평 $(1-γ)^{-1}$이 주요 항에서 지평 $H$로 대체되어 할인 설정의 수렴 속도와 일치한다. 일치하는 미니맥스(minimax) 하한은 주요 항과 내포된 1-바서슈타인(Wasserstein) 속도가 i.i.d., 마르코프, 에피소딕 샘플링 하에서 최적임을 보여준다. 종합적으로 이러한 결과들은 스칼라, 다변량, 할인 및 고정 지평 설정 전반에 걸쳐 비동기 범주형 분포 TD에 대한 통합된 비점근적(non-asymptotic) 분석을 제공하며, 주요 항에서 미니맥스 최적의 수렴 속도를 달성한다.