Offline RL via Feature-Occupancy Gradient Ascent
원문 초록
We study offline Reinforcement Learning in large infinite-horizon discounted Markov Decision Processes (MDPs) when the reward and transition models are linearly realizable under a known feature map. Starting from the classic linear-program formulation of the optimal control problem in MDPs, we develop a new algorithm that performs a form of gradient ascent in the space of feature occupancies, defined as the expected feature vectors that can potentially be generated by executing policies in the environment. We show that the resulting simple algorithm satisfies strong computational and sample complexity guarantees, achieved under the least restrictive data coverage assumptions known in the literature. In particular, we show that the sample complexity of our method scales optimally with the desired accuracy level and depends on a weak notion of coverage that only requires the empirical feature covariance matrix to cover a single direction in the feature space (as opposed to covering a full subspace). Additionally, our method is easy to implement and requires no prior knowledge of the coverage ratio (or even an upper bound on it), which altogether make it the strongest known algorithm for this setting to date.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 가이던스는 제어 가능한 정책 개선 연산자이다
Diffusion Guidance Is a Controllable Policy Improvement Operator
강화학습의 핵심에는 데이터에 담긴 성능을 넘어서는 학습이라는 개념이 있다. 그러나 이러한 시스템의 규모 확장은 매우 어려운 것으로 알려져 있다. 반면 생성 모델링 기법은 놀랍도록 확장성이 뛰어나고 학습이 간단한 것으로 입증되었다. 본 연구에서는 정책 개선과 확산 모델의 가이던스 사이의 직접적인 관계를 도출함으로써 이러한 두 강점을 결합한다. 그 결과로 얻은 프레임워크인 CFGRL은 지도 학습의 단순함으로 학습되면서도 데이터에 있는 정책을 더욱 개선할 수 있다. 오프라인 강화학습 과제에서 우리는 가이던스 가중치를 높일수록 성능이 향상되는 일관된 경향을 관찰한다. 특히 중요한 점은, CFGRL이 가치 함수를 명시적으로 학습하지 않고도 작동할 수 있어 목표 조건부 행동 복제와 같은 단순한 지도 학습 방법을 일반화하여 최적성을 더욱 우선시할 수 있으며, 전반적으로 "공짜로" 성능을 얻을 수 있다는 것이다.
완전 오프라인 강화학습
Fully Offline Reinforcement Learning
오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
DR-SAC: Distributionally Robust Soft Actor-Critic for Reinforcement Learning under Uncertainty
토론
이 논문과 연결된 포럼 글이 아직 없습니다.