arXiv:2302.02392

Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage

제출 2023-02-05

원문 초록

In offline reinforcement learning (RL) we have no opportunity to explore so we must make assumptions that the data is sufficient to guide picking a good policy, taking the form of assuming some coverage, realizability, Bellman completeness, and/or hard margin (gap). In this work we propose value-based algorithms for offline RL with PAC guarantees under just partial coverage, specifically, coverage of just a single comparator policy, and realizability of soft (entropy-regularized) Q-function of the single policy and a related function defined as a saddle point of certain minimax optimization problem. This offers refined and generally more lax conditions for offline RL. We further show an analogous result for vanilla Q-functions under a soft margin condition. To attain these guarantees, we leverage novel minimax learning algorithms to accurately estimate soft or vanilla Q-functions with $L^2$-convergence guarantees. Our algorithms' loss functions arise from casting the estimation problems as nonlinear convex optimization problems and Lagrangifying.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13901v1stat.ML공통 태그 Reinforcement Learning (RL), Q-Learning

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2607.20834v1cs.LG공통 태그 Q-Learning, Offline RL

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.07855v1cs.LG공통 태그 Q-Learning, Offline RL

NFTR: 증명 가능한 모드 평균화에서 오프라인 목표 조건부 강화학습의 측지선 서브골 선택까지

NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL

계층적 암묵적 Q-러닝(HIQL)은 오프라인 목표 조건부 강화학습(RL) 방법으로, 가치 함수 이점만으로 서브골을 선택한다. 이 규칙에는 두 가지 연관된 실패 모드가 있다. 낙관적 바이어스는 운 좋은 확률적 결과를 능숙한 선택으로 취급하고, 모드 붕괴는 다중 모드 서브골 분포를 종종 도달 불가능한 영역에 놓이는 단일 가우시안 평균으로 축소시킨다. 우리는 NFTR(삼각 슬랙 재가중치 부여를 통한 정규화 흐름 서브골 정책, Normalizing Flows subgoal policies with Triangle-slack Reweighting)을 제안한다. 조건부 정규화 흐름(Normalizing Flow)이 가우시안 정책을 대체하며, 폐쇄형 모드 평균화 결과는 NF를 AWR 기반 서브골 선택을 위한 최소 생성 클래스로 규명한다. 거리 정확도에 의존하지 않고 구조적 삼각 부등식 위에 구축된 삼각 슬랙 점수는 AWR 가중치를 곱셈적으로 보정하여, 우회 비용이 평균 도달 가능성을 초과하는 서브골의 가중치를 낮춘다. 삼각 슬랙은 결정론적 MDP의 측지선 위에서 소멸하며, 확률론적 역학 하에서 합성 가능성 위반에 대한 보수적 상한으로 유지된다. RWDR 목적 함수는 AWR의 집단 수준 단조 개선을 보존하고 세 항의 준최적성 분해를 허용한다. 이 두 요소를 결합하면, 위에서 설명한 가우시안 붕괴를 증명 가능하게 회피하고 확률론적 역학 하에서도 안정적으로 유지되는 서브골 선택이 가능해진다. GitHub 페이지: https://github.com/erdemtbao/NFTR

arXiv:2606.17551v1cs.LG공통 태그 Q-Learning, Offline RL

Reversal Q-Learning

Reversal Q-Learning

플로우 매칭(flow matching)과 같은 반복적 생성 모델링 기법은 효과적인 오프라인 강화학습(offline reinforcement learning)을 위해 복잡한 행동을 모델링하는 강력한 도구를 제공합니다. 본 연구에서는 우리는 이전 데이터를 기반으로 플로우 정책(flow policy)을 학습시키는 새로운 오프-정책 강화학습(off-policy RL) 알고리즘을 제안합니다. 우리의 아이디어는 개별 플로우 정제 단계를 MDP 내의 별도 행동으로 취급하는 "확장된" 마르코프 결정 과정(MDP) 프레임워크에서 시작합니다. 이 프레임워크 내에서 오프-정책 강화학습을 가능하게 하기 위해 우리는 두 가지 기법을 적용합니다: 이 프레임워크가 이전 데이터와 호환되도록 플로우를 "반전"시켜 가상 온-정책 궤적(virtual on-policy trajectories)을 생성하는 것과, 오프-정책 강화학습의 horizon의 저주(curse of horizon)를 완화하기 위해 바이어스-분산 감소(bias-and-variance reduction) 기법을 적용하는 것입니다. 우리는 결과적인 알고리즘을 Reversal Q-learning (RQL)이라고 부릅니다. RQL은 이전의 플로우 기반 강화학습 방법들에 비해 여러 가지 장점이 있습니다: 시간에 따른 역전파(backpropagation through time) 문제가 없으며, 학습된 가치 함수를 더 잘 활용하고, 완전하고 표현력 있는 플로우 정책을 직접 학습합니다. 50개의 도전적인 시뮬레이션된 로봇 작업에 대한 실험을 통해, 우리는 RQL이 최첨단 플로우 기반 오프라인 강화학습 알고리즘들과 비교하여 최고의 평균 오프라인 강화학습 성능을 이끌어냄을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.