PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.06039v2math.OC

강화학습을 위한 가치 미러 하강법

Value Mirror Descent for Reinforcement Learning

강화학습(RL)에서 준최적(nearly optimal) 가치 함수를 계산하기 위한 가치 반복(value iteration) 형태의 방법들은 광범위하게 연구되어 왔다. 생성 모델(generative model) 샘플링 환경에서 이러한 방법들은 특히 할인율(discount factor)에 대한 의존도 측면에서 정책 최적화(policy optimization) 접근법보다 더 우수한 샘플 복잡도(sample complexity)를 달성할 수 있다. 실제로는 오프라인 학습(offline training)에 주로 사용된다. 본 논문에서는 상태 공간 S, 행동 공간 A, 할인율 $\gamma\in(0,1)$ 및 $[0,1]$ 범위의 비용을 갖는 할인된 마르코프 결정 과정(discounted Markov decision process)을 고려한다. 우리는 볼록 최적화(convex optimization)의 미러 하강법(mirror descent)을 고전적인 가치 반복 프레임워크에 통합한 새로운 가치 최적화 방법인 가치 미러 하강법(value mirror descent, VMD)을 도입한다. 전이 커널(transition kernel)을 알고 있는 결정론적 환경에서 VMD가 선형 수렴함을 보인다. 생성 모델을 갖는 확률적 환경을 위해, 확률적 가치 반복 형태의 방법에서 흔히 사용되는 분산 감소(variance reduction) 기법을 통합한 확률적 변형인 SVMD를 개발한다. 일반적인 볼록 정규화 항을 갖는 강화학습 문제에 대해, SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-3}\epsilon^{-2})$의 최적에 가까운 샘플 복잡도를 달성한다. 나아가, 모델 오지정(model misspecification)이 존재하는 경우에도 생성된 정책과 최적 정책 사이의 브레그만 다이버전스(Bregman divergence)가 반복(iteration) 전반에 걸쳐 유계(bounded)로 유지됨을 규명한다. 이 특성은 기존의 확률적 가치 반복 형태의 방법들에는 없지만, 오프라인 학습 이후 효과적인 온라인(지속) 학습(online/continual learning)을 가능하게 하는 데 중요하다. 강볼록(strongly convex) 정규화 항 하에서 SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-5}\epsilon^{-1})$의 샘플 복잡도를 달성하여 고정밀 영역에서의 성능을 향상시킨다. 또한, 생성된 정책이 최적 정책으로 수렴함을 증명한다. 종합적으로 제안된 방법과 그 분석, 그리고 이에 따른 이론적 보장은 강화학습 및 최적화 분야 문헌에 새로운 기여를 제시한다.