A Single Stepsize Suffices for Unprojected Linear TD(0): Simultaneous Robust and Fast Rates via Polyak--Ruppert Averaging
단일 궤적 Markovian 샘플링 하에서 투영(projection) 없는 선형 TD(0)에 Polyak–Ruppert 평균을 적용하고, 혼합 시간에만 의존하는 단일 스텝사이즈로 반복값의 고확률 유계(boundedness)와 동시 수렴을 증명한다. 곡률(curvature) 파라미터 ω를 몰라도 동일 스텝사이즈가 곡률 무관 견고율 Õ(τ_mix/√T)과 곡률 의존 빠른 수렴율 Õ(τ_mix²/(ωT)) 중 더 나은 쪽을 보장하며, 핵심 기법은 기하학적 혼합 Markov chain용 Poisson 방정식 분해와 자기 유계(self-bounding) 귀납 논증이다.