Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
원문 초록
In this paper, a Gauss-Newton Temporal Difference (GNTD) learning method is proposed to solve the Q-learning problem with nonlinear function approximation. In each iteration, our method takes one Gauss-Newton (GN) step to optimize a variant of Mean-Squared Bellman Error (MSBE), where target networks are adopted to avoid double sampling. Inexact GN steps are analyzed so that one can safely and efficiently compute the GN updates by cheap matrix iterations. Under mild conditions, non-asymptotic finite-sample convergence to the globally optimal Q function is derived for various nonlinear function approximations. In particular, for neural network parameterization with relu activation, GNTD achieves an improved sample complexity of $\tilde{\mathcal{O}}(\varepsilon^{-1})$, as opposed to the $\mathcal{\mathcal{O}}(\varepsilon^{-2})$ sample complexity of the existing neural TD methods. An $\tilde{\mathcal{O}}(\varepsilon^{-1.5})$ sample complexity of GNTD is also established for general smooth function approximations. We validate our method via extensive experiments in several RL benchmarks, where GNTD exhibits both higher rewards and faster convergence than TD-type methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Flow Q-Learning
그렇다, Q-러닝은 오프라인 인컨텍스트 강화학습에 도움이 된다
Yes, Q-learning Helps Offline In-Context RL
기존의 오프라인 인컨텍스트 강화학습(in-context reinforcement learning, ICRL) 방법들은 주로 지도 학습 목적 함수에 의존해 왔으며, 이러한 목적 함수는 오프라인 RL 환경에서 한계가 있는 것으로 알려져 있다. 본 연구에서는 오프라인 ICRL 프레임워크 내에 RL 목적 함수를 통합하는 방법을 탐구한다. 150개 이상의 GridWorld 및 MuJoCo 환경 기반 데이터셋에 대한 실험을 통해, RL 목적 함수를 직접 최적화하면 다양한 데이터셋 커버리지, 구조, 전문성 수준, 환경 복잡도 전반에서 널리 사용되는 Algorithm Distillation(AD) 대비 평균 약 30%의 성능 향상을 얻을 수 있음을 보인다. 나아가 난이도가 높은 XLand-MiniGrid 환경에서는 RL 목적 함수가 AD의 성능을 두 배로 높였다. 또한 실험 결과, 가치 학습 과정에 보수성(conservatism)을 추가하면 시험한 거의 모든 설정에서 추가적인 성능 향상이 나타났다. 이러한 결과는 ICRL의 학습 목적 함수를 RL의 보상 최대화 목표와 일치시키는 것이 중요함을 강조하며, 오프라인 RL이 ICRL을 발전시키기 위한 유망한 방향임을 보여준다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
NFTR: 증명 가능한 모드 평균화에서 오프라인 목표 조건부 강화학습의 측지선 서브골 선택까지
NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL
계층적 암묵적 Q-러닝(HIQL)은 오프라인 목표 조건부 강화학습(RL) 방법으로, 가치 함수 이점만으로 서브골을 선택한다. 이 규칙에는 두 가지 연관된 실패 모드가 있다. 낙관적 바이어스는 운 좋은 확률적 결과를 능숙한 선택으로 취급하고, 모드 붕괴는 다중 모드 서브골 분포를 종종 도달 불가능한 영역에 놓이는 단일 가우시안 평균으로 축소시킨다. 우리는 NFTR(삼각 슬랙 재가중치 부여를 통한 정규화 흐름 서브골 정책, Normalizing Flows subgoal policies with Triangle-slack Reweighting)을 제안한다. 조건부 정규화 흐름(Normalizing Flow)이 가우시안 정책을 대체하며, 폐쇄형 모드 평균화 결과는 NF를 AWR 기반 서브골 선택을 위한 최소 생성 클래스로 규명한다. 거리 정확도에 의존하지 않고 구조적 삼각 부등식 위에 구축된 삼각 슬랙 점수는 AWR 가중치를 곱셈적으로 보정하여, 우회 비용이 평균 도달 가능성을 초과하는 서브골의 가중치를 낮춘다. 삼각 슬랙은 결정론적 MDP의 측지선 위에서 소멸하며, 확률론적 역학 하에서 합성 가능성 위반에 대한 보수적 상한으로 유지된다. RWDR 목적 함수는 AWR의 집단 수준 단조 개선을 보존하고 세 항의 준최적성 분해를 허용한다. 이 두 요소를 결합하면, 위에서 설명한 가우시안 붕괴를 증명 가능하게 회피하고 확률론적 역학 하에서도 안정적으로 유지되는 서브골 선택이 가능해진다. GitHub 페이지: https://github.com/erdemtbao/NFTR
Reversal Q-Learning
Reversal Q-Learning
플로우 매칭(flow matching)과 같은 반복적 생성 모델링 기법은 효과적인 오프라인 강화학습(offline reinforcement learning)을 위해 복잡한 행동을 모델링하는 강력한 도구를 제공합니다. 본 연구에서는 우리는 이전 데이터를 기반으로 플로우 정책(flow policy)을 학습시키는 새로운 오프-정책 강화학습(off-policy RL) 알고리즘을 제안합니다. 우리의 아이디어는 개별 플로우 정제 단계를 MDP 내의 별도 행동으로 취급하는 "확장된" 마르코프 결정 과정(MDP) 프레임워크에서 시작합니다. 이 프레임워크 내에서 오프-정책 강화학습을 가능하게 하기 위해 우리는 두 가지 기법을 적용합니다: 이 프레임워크가 이전 데이터와 호환되도록 플로우를 "반전"시켜 가상 온-정책 궤적(virtual on-policy trajectories)을 생성하는 것과, 오프-정책 강화학습의 horizon의 저주(curse of horizon)를 완화하기 위해 바이어스-분산 감소(bias-and-variance reduction) 기법을 적용하는 것입니다. 우리는 결과적인 알고리즘을 Reversal Q-learning (RQL)이라고 부릅니다. RQL은 이전의 플로우 기반 강화학습 방법들에 비해 여러 가지 장점이 있습니다: 시간에 따른 역전파(backpropagation through time) 문제가 없으며, 학습된 가치 함수를 더 잘 활용하고, 완전하고 표현력 있는 플로우 정책을 직접 학습합니다. 50개의 도전적인 시뮬레이션된 로봇 작업에 대한 실험을 통해, 우리는 RQL이 최첨단 플로우 기반 오프라인 강화학습 알고리즘들과 비교하여 최고의 평균 오프라인 강화학습 성능을 이끌어냄을 보여줍니다.
Offline Guarded Safe Reinforcement Learning for Medical Treatment Optimization Strategies
토론
이 논문과 연결된 포럼 글이 아직 없습니다.