arXiv:2606.17551v1 cs.LG

Reversal Q-Learning

Reversal Q-Learning

Aditya Oberai, Seohong Park, Sergey Levine

제출 2026-06-16

한국어 초록

플로우 매칭(flow matching)과 같은 반복적 생성 모델링 기법은 효과적인 오프라인 강화학습(offline reinforcement learning)을 위해 복잡한 행동을 모델링하는 강력한 도구를 제공합니다. 본 연구에서는 우리는 이전 데이터를 기반으로 플로우 정책(flow policy)을 학습시키는 새로운 오프-정책 강화학습(off-policy RL) 알고리즘을 제안합니다. 우리의 아이디어는 개별 플로우 정제 단계를 MDP 내의 별도 행동으로 취급하는 "확장된" 마르코프 결정 과정(MDP) 프레임워크에서 시작합니다. 이 프레임워크 내에서 오프-정책 강화학습을 가능하게 하기 위해 우리는 두 가지 기법을 적용합니다: 이 프레임워크가 이전 데이터와 호환되도록 플로우를 "반전"시켜 가상 온-정책 궤적(virtual on-policy trajectories)을 생성하는 것과, 오프-정책 강화학습의 horizon의 저주(curse of horizon)를 완화하기 위해 바이어스-분산 감소(bias-and-variance reduction) 기법을 적용하는 것입니다. 우리는 결과적인 알고리즘을 Reversal Q-learning (RQL)이라고 부릅니다. RQL은 이전의 플로우 기반 강화학습 방법들에 비해 여러 가지 장점이 있습니다: 시간에 따른 역전파(backpropagation through time) 문제가 없으며, 학습된 가치 함수를 더 잘 활용하고, 완전하고 표현력 있는 플로우 정책을 직접 학습합니다. 50개의 도전적인 시뮬레이션된 로봇 작업에 대한 실험을 통해, 우리는 RQL이 최첨단 플로우 기반 오프라인 강화학습 알고리즘들과 비교하여 최고의 평균 오프라인 강화학습 성능을 이끌어냄을 보여줍니다.

원문 초록

Iterative generative modeling techniques, such as flow matching, provide powerful tools to model complex behaviors for effective offline reinforcement learning (RL). In this work, we propose a new off-policy RL algorithm that trains a flow policy based on prior data. Our idea starts from the "expanded" Markov decision process (MDP) framework, which treats individual flow refinement steps as separate actions in an MDP. To enable off-policy RL within this framework, we apply two techniques: we generate virtual on-policy trajectories (by "reversing" flows) to make this framework compatible with prior data, and we apply a bias-and-variance reduction technique to mitigate the curse of horizon in off-policy RL. We call the resulting algorithm Reversal Q-learning (RQL). RQL has several advantages over previous flow-based RL methods: it does not suffer from backpropagation through time, makes better use of the learned value function, and directly trains the full, expressive flow policy. Through our experiments on 50 challenging simulated robotic tasks, we show that RQL leads to the best average offline RL performance compared to state-of-the-art flow-based offline RL algorithms.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17551v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20834v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Q-Learning, Offline RL

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2609.27667v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Q-Learning

위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습

Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization

강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.

arXiv:2609.27741v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Q-Learning

극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons

가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.

arXiv:2607.21111v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Offline RL

TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크

TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning

오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.

arXiv:2607.21302v1cs.AI공통 태그 Continuous Control, Deep Reinforcement Learning, Q-Learning

전문가 행동 사전 강화학습

Expert Behavior Prior Reinforcement Learning

행동 사전 강화학습(BPRL)은 오프라인 시연에서 유도된 정책 사전을 활용하여 온라인 강화학습(RL)의 샘플 효율성을 개선하는 유망한 패러다임으로 부상했다. 그러나 기존 BPRL 방법 대부분은 정적 오프라인 데이터셋에 의존하며, 이는 종종 낮은 데이터 다양성과 최적이 아닌 궤적 품질 문제를 겪는다. 이러한 의존은 정책 사전의 효과를 제한하여 온라인 학습 중 정책 활용과 안정성을 모두 저해한다. 결과적으로 에이전트는 비효율적인 탐험과 불안정한 학습 역학에 취약해진다. 이러한 한계를 해결하기 위해, 우리는 기존 오프라인 사전학습 방법에서 벗어나 전문가 행동 사전(EBP) 알고리즘을 제안한다. 구체적으로, 온라인 리플레이 버퍼로부터 직접 전문가 정책 사전을 생성하는 방법을 학습하는 Q-유도 조건부 변분 오토인코더(Q-CVAE)를 도입한다. 이를 통해 사전 수집된 전문가 궤적에 의존하지 않고도 정책 업데이트를 안내하는 고가치 행동을 생성할 수 있다. 정책 활용을 더욱 향상시키기 위해, 생성적 지원 집합에서 전문가 행동을 선택하는 전문가 정책 안내(EPG) 메커니즘을 제안하고, Q-유도와 전문가 감독을 조화시켜 안정적이고 일관된 정책 개선을 촉진하는 정책 그래디언트 보정(PGC) 모듈을 통합한다. 로봇 제어(Gym, PyBullet) 및 산업 제어(DMControl) 벤치마크에서 수행한 광범위한 실험은 EBP가 최신 온라인 RL 알고리즘을 크게 능가하며, 더 높은 샘플 효율성과 더 안정적인 수렴을 달성함을 보여준다.

arXiv:2610.02545v2cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning

보상 인플레이션: 강화학습을 위한 건강한 자극

Reward Inflation: A Healthy Stimulus for Reinforcement Learning

보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.