선형 마르코프 결정 과정을 위한 매개변수화된 정책 기반 낙관적 액터-크리틱
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
한국어 초록
액터-크리틱 방법은 실제로 성공을 거두었지만, 이론적 분석에는 여러 한계가 있다. 구체적으로, 기존 이론 연구는 강한 가정을 두어 탐색 문제를 회피하거나, 복잡한 알고리즘 수정이 가해진 비실용적인 방법을 분석한다. 또한 선형 MDP를 대상으로 분석된 액터-크리틱 방법은 흔히 자연 정책 경사를 사용하고, 명시적으로 매개변수화된 액터를 학습하는 대신 누적된 크리틱 추정치를 통해 "암묵적" 정책을 정의한다. 이러한 정책은 샘플링에 계산 비용이 많이 들 수 있어 환경과의 상호작용을 비효율적으로 만든다. 이를 해결하기 위해 본 논문은 유한 시계 선형 MDP에 초점을 맞추어, 매개변수화된 로그-선형 정책을 사용하는 낙관적 액터-크리틱 프레임워크를 제안한다. 특히 액터를 위해 다루기 쉬운 로짓 매칭 회귀 목적함수를 도입한다. 크리틱에는 랑주뱅 몬테카를로를 통한 근사 톰슨 샘플링을 사용하여 낙관적 가치 추정치를 얻는다. 정책 특징이 충분히 표현력이 있을 때, 결과 알고리즘이 온-폴리시 및 오프-폴리시 설정에서 각각 $\widetilde{O}(\epsilon^{-4})$ 및 $\widetilde{O}(\epsilon^{-2})$의 표본 복잡도를 달성함을 증명한다. 본 결과는 $\epsilon$에 대한 의존성에서 기존 이론 연구의 최신 수준과 일치하면서도, 알고리즘은 실제 활용에 더 부합한다.
원문 초록
Although actor-critic methods have been successful in practice, their theoretical analyses have several limitations. Specifically, existing theoretical work either sidesteps the exploration problem by making strong assumptions or analyzes impractical methods with complicated algorithmic modifications. Moreover, the actor-critic methods analyzed for linear MDPs often employ natural policy gradient and define "implicit" policies through the accumulated critic estimates, rather than learning an explicitly parameterized actor. Such policies can be computationally expensive to sample from, making the environment interactions inefficient. To that end, we focus on the finite-horizon linear MDPs and propose an optimistic actor-critic framework that uses parametric log-linear policies. In particular, we introduce a tractable logit-matching regression objective for the actor. For the critic, we use approximate Thompson sampling via Langevin Monte Carlo to obtain optimistic value estimates. We prove that, when the policy features are sufficiently expressive, the resulting algorithm achieves $\widetilde{O}(\epsilon^{-4})$ and $\widetilde{O}(\epsilon^{-2})$ sample complexity in the on-policy and off-policy settings, respectively. Our results match the state-of-the-art dependence on $\epsilon$ in prior theoretical work, while our algorithm is more aligned with practice.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.28595v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.