PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06866v3cs.LG

비동기 범주형 분포 시차 학습을 위한 정밀한 유한 반복 이론

A Sharp Finite-Iteration Theory for Asynchronous Categorical Distributional Temporal-Difference Learning

본 논문에서는 크라메르(Cramér) 기하에서의 스칼라 범주형 TD(CTD)와 최대 평균 불일치(MMD) 기하에서의 다변량 부호 범주형 TD(MTD)를 포괄하여, 비동기 범주형 분포 시차 학습(distributional temporal-difference) 방법의 유한 반복(finite-iteration) 거동을 연구한다. 저자들은 i.i.d. 샘플링 및 연속적인 마르코프 궤적 하에서 높은 확률의 이론적 보장을 확립한다. CTD의 경우, 분산 감소나 데이터 삭제 기법을 사용하지 않고도 실제 반환 분포에 도달하기 위한 크라메르 표본 복잡도의 주요 항이 i.i.d. 설정에서는 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2})$, 마르코프 설정에서는 $\tilde O(μ_{\min}^{-1}(1-γ)^{-2}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$임을 보인다. MTD의 경우, MMD 표본 복잡도의 주요 항은 $\tilde O(ρ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2})$ 및 $\tilde O(μ_{\min}^{-1}(1-γ)^{-1-c}\varepsilon^{-2}+μ_{\min}^{-1}t_{\mathrm{mix}})$이며(여기서 $c\in(0,2)$는 MMD 커널의 동차 지수), 이는 $c=1$일 때 CTD 수렴 속도로 단순화된다. 이는 저자들이 알기로 MTD에 대한 최초의 유한 반복 수렴 속도이다. 무할인 고정 지평(undiscounted fixed-horizon) 정책 평가의 경우, 동일한 분석이 i.i.d. 및 에피소딕 샘플링 하의 CTD와 MTD 고정 지평 버전에 적용되며, 유효 지평 $(1-γ)^{-1}$이 주요 항에서 지평 $H$로 대체되어 할인 설정의 수렴 속도와 일치한다. 일치하는 미니맥스(minimax) 하한은 주요 항과 내포된 1-바서슈타인(Wasserstein) 속도가 i.i.d., 마르코프, 에피소딕 샘플링 하에서 최적임을 보여준다. 종합적으로 이러한 결과들은 스칼라, 다변량, 할인 및 고정 지평 설정 전반에 걸쳐 비동기 범주형 분포 TD에 대한 통합된 비점근적(non-asymptotic) 분석을 제공하며, 주요 항에서 미니맥스 최적의 수렴 속도를 달성한다.

arXiv:2606.20357v1cs.LG

시간차 학습의 분산과 통제 변량을 이용한 분산 감소에 관하여

On the Variance of Temporal Difference Learning and its Reduction Using Control Variates

우리는 표 형식 표현(tabular representation)을 사용하는 위상 설정(phased setting)에서 시간차 학습(TD)의 분산을 분석하고, 분산 감소 능력의 배경에 있는 메커니즘 중 하나가 더 많은 수의 독립적인 궤적(trajectories)에 대해 효과적으로 집계하는 것임을 보여줍니다. 이 통찰을 바탕으로 우리는 (1) TD의 분산이 점근적으로 몬테카를로(MC) 추정기에 의해 상한으로 제한됨을, 그리고 (2) 고정된 샘플 수에 대해 더 짧은 horizon 업데이트가 더 적은 분산을 유발함을 입증합니다. TD를 넘어, 우리는 어드밴티지 함수(advantage function)를 추정하는 방법인 직접 어드밴티지 추정(DAE)이 회귀 조정된 통제 변량(control variate)의 일종으로 간주될 수 있음을 보여주며, 이는 대표본 한계(large-sample limit)에서 TD에 비해 분산에 대해 더 타이트한 경계를 달성합니다. 마지막으로, 우리는 신중하게 설계된 환경을 통해 이러한 추정기들의 동작을 수치적으로 보여줍니다.