arXiv:2409.08062

Q-value Regularized Decision ConvFormer for Offline Reinforcement Learning

Teng Yan, Zhendong Ruan, Yaobang Cai, Yu Han, Wenxian Li, Yang Zhang

제출 2024-09-12

원문 초록

As a data-driven paradigm, offline reinforcement learning (Offline RL) has been formulated as sequence modeling, where the Decision Transformer (DT) has demonstrated exceptional capabilities. Unlike previous reinforcement learning methods that fit value functions or compute policy gradients, DT adjusts the autoregressive model based on the expected returns, past states, and actions, using a causally masked Transformer to output the optimal action. However, due to the inconsistency between the sampled returns within a single trajectory and the optimal returns across multiple trajectories, it is challenging to set an expected return to output the optimal action and stitch together suboptimal trajectories. Decision ConvFormer (DC) is easier to understand in the context of modeling RL trajectories within a Markov Decision Process compared to DT. We propose the Q-value Regularized Decision ConvFormer (QDC), which combines the understanding of RL trajectories by DC and incorporates a term that maximizes action values using dynamic programming methods during training. This ensures that the expected returns of the sampled actions are consistent with the optimal returns. QDC achieves excellent performance on the D4RL benchmark, outperforming or approaching the optimal level in all tested environments. It particularly demonstrates outstanding competitiveness in trajectory stitching capability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Offline RL

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.21111v1cs.LG공통 태그 Reinforcement Learning, Offline RL

TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크

TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning

오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.