arXiv:2202.13890

Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity

Laixi Shi, Gen Li, Yuting Wei, Yuxin Chen, Yuejie Chi

제출 2022-02-28

원문 초록

Offline or batch reinforcement learning seeks to learn a near-optimal policy using history data without active exploration of the environment. To counter the insufficient coverage and sample scarcity of many offline datasets, the principle of pessimism has been recently introduced to mitigate high bias of the estimated values. While pessimistic variants of model-based algorithms (e.g., value iteration with lower confidence bounds) have been theoretically investigated, their model-free counterparts -- which do not require explicit model estimation -- have not been adequately studied, especially in terms of sample efficiency. To address this inadequacy, we study a pessimistic variant of Q-learning in the context of finite-horizon Markov decision processes, and characterize its sample complexity under the single-policy concentrability assumption which does not require the full coverage of the state-action space. In addition, a variance-reduced pessimistic Q-learning algorithm is proposed to achieve near-optimal sample complexity. Altogether, this work highlights the efficiency of model-free algorithms in offline RL when used in conjunction with pessimism and variance reduction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Q-Learning, Offline RL

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2606.17551v1cs.LG공통 태그 reinforcement-learning, Q-Learning, Offline RL

Reversal Q-Learning

Reversal Q-Learning

플로우 매칭(flow matching)과 같은 반복적 생성 모델링 기법은 효과적인 오프라인 강화학습(offline reinforcement learning)을 위해 복잡한 행동을 모델링하는 강력한 도구를 제공합니다. 본 연구에서는 우리는 이전 데이터를 기반으로 플로우 정책(flow policy)을 학습시키는 새로운 오프-정책 강화학습(off-policy RL) 알고리즘을 제안합니다. 우리의 아이디어는 개별 플로우 정제 단계를 MDP 내의 별도 행동으로 취급하는 "확장된" 마르코프 결정 과정(MDP) 프레임워크에서 시작합니다. 이 프레임워크 내에서 오프-정책 강화학습을 가능하게 하기 위해 우리는 두 가지 기법을 적용합니다: 이 프레임워크가 이전 데이터와 호환되도록 플로우를 "반전"시켜 가상 온-정책 궤적(virtual on-policy trajectories)을 생성하는 것과, 오프-정책 강화학습의 horizon의 저주(curse of horizon)를 완화하기 위해 바이어스-분산 감소(bias-and-variance reduction) 기법을 적용하는 것입니다. 우리는 결과적인 알고리즘을 Reversal Q-learning (RQL)이라고 부릅니다. RQL은 이전의 플로우 기반 강화학습 방법들에 비해 여러 가지 장점이 있습니다: 시간에 따른 역전파(backpropagation through time) 문제가 없으며, 학습된 가치 함수를 더 잘 활용하고, 완전하고 표현력 있는 플로우 정책을 직접 학습합니다. 50개의 도전적인 시뮬레이션된 로봇 작업에 대한 실험을 통해, 우리는 RQL이 최첨단 플로우 기반 오프라인 강화학습 알고리즘들과 비교하여 최고의 평균 오프라인 강화학습 성능을 이끌어냄을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.