Learning Goal-Conditioned Policies from Sub-Optimal Offline Data via Metric Learning
원문 초록
We address the problem of learning optimal behavior from sub-optimal datasets for goal-conditioned offline reinforcement learning. To do so, we propose the use of metric learning to approximate the optimal value function for goal-conditioned offline RL problems under sparse rewards, invertible actions and deterministic transitions. We introduce distance monotonicity, a property for representations to recover optimality and propose an optimization objective that leads to such property. We use the proposed value function to guide the learning of a policy in an actor-critic fashion, a method we name MetricRL. Experimentally, we show that our method estimates optimal behaviors from severely sub-optimal offline datasets without suffering from out-of-distribution estimation errors. We demonstrate that MetricRL consistently outperforms prior state-of-the-art goal-conditioned RL methods in learning optimal policies from sub-optimal offline datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
장기 시간 범위 마르코프 결정 과정에서 공변량 균형 평가
Evaluating covariate balance for long time horizon Markov decision processes
본 글은 최적 치료 권고를 도출하기 위해 오프라인 강화학습(RL)을 적용한 연구에서 숨겨진 교란(hidden confounding) 및 모델 오명(model miss-specification) 존재 여부를 탐지하기 위해 공변량 균형 진단의 적용을 살펴본다. 결과는 치료 권고를 위한 기존 오프라인 강화학습 연구에 바이어스 위험이 높거나, 기존 공변량 균형 지표가 이러한 연구를 평가하기에 충분하지 않음을 보여준다. 어느 경우든, 기존 오프라인 강화학습 연구는 통계적으로 견고하다고 결론 내릴 수 없다. 결론은 치료 권고 문제에 대한 보다 방법론적으로 견고한 오프라인 강화학습 적용을 얻기 위한 향후 연구 방향을 제안한다.
궤적 수준 지도가 언제 효율적인 오프라인 강화학습을 가능하게 하는가?
When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?
오프라인 강화학습은 일반적으로 과정(process) 수준 보상 지도 하에서 분석되지만, 많은 순차적 의사결정 데이터셋은 궤적(trajectory) 수준 결과만 기록합니다. 우리는 이러한 결과(outcome) 수준 지도로부터의 오프라인 정책 최적화를 위한 통계 이론을 개발합니다. 우리는 먼저 목표가 기대 누적 보상으로 유지되지만, 각 오프라인 궤적은 누적 수익이 조건부 평균인 스칼라 라벨만 제공하는 표준 설정을 연구합니다. 우리는 잠재 보상 모델을 학습하고 궤적 수준 라벨로부터 정책을 최적화하는 비관적(pessimistic) 액터-크리틱 알고리즘인 OPAC를 제안합니다. 우리는 $\widetilde O(H^2\sqrt{C_{sa}(π^\star)/n})$ 차수의 고확률 보장과 이에 일치하는 하한을 증명하여, 과정 수준 보상을 하나의 궤적 수준 라벨로 대체하는 것의 정확한 통계적 비용을 특성화합니다. 그런 다음 우리는 이 원리를 선호(preference) 기반 피드백으로 확장하여, 선호 모델 상수까지 선행 호라이즌(horizon)과 집중 가능성(concentrability) 의존성을 보존합니다. 마지막으로, 우리는 지도와 목표가 모두 잠재 단계별 보상의 비선형 집계에 의해 유도되는 궤적 수준 양인 일반화된 결과 기반 오프라인 강화학습을 연구합니다. 이 문제는 일반적으로 학습이 불가능합니다. 전체 성공(all-success) 목표의 경우, 결정론적 전이와 상수 집중 가능성이 있더라도 모든 오프라인 학습기는 $Ω(2^H)$ 개의 궤적이 필요할 수 있습니다. 그런 다음 우리는 결과 집계와 일반화된 벨만 업데이트에서의 정보 손실을 포착하는 두 구조 계수 $κ_μ(σ)$와 $χ_μ(σ)$를 통해 해석 가능한 체제를 식별하며, 이 체제에서 일반화된 OPAC는 다항식 샘플 복잡도를 달성합니다. 종합하면, 우리의 결과는 결과 수준 지도가 언제 샘플 효율적인 오프라인 제어를 가능하게 하고, 누락된 과정 수준 보상이 언제 근본적인 통계적 장벽을 만드는지 명확히 합니다.
Reversal Q-Learning
Reversal Q-Learning
플로우 매칭(flow matching)과 같은 반복적 생성 모델링 기법은 효과적인 오프라인 강화학습(offline reinforcement learning)을 위해 복잡한 행동을 모델링하는 강력한 도구를 제공합니다. 본 연구에서는 우리는 이전 데이터를 기반으로 플로우 정책(flow policy)을 학습시키는 새로운 오프-정책 강화학습(off-policy RL) 알고리즘을 제안합니다. 우리의 아이디어는 개별 플로우 정제 단계를 MDP 내의 별도 행동으로 취급하는 "확장된" 마르코프 결정 과정(MDP) 프레임워크에서 시작합니다. 이 프레임워크 내에서 오프-정책 강화학습을 가능하게 하기 위해 우리는 두 가지 기법을 적용합니다: 이 프레임워크가 이전 데이터와 호환되도록 플로우를 "반전"시켜 가상 온-정책 궤적(virtual on-policy trajectories)을 생성하는 것과, 오프-정책 강화학습의 horizon의 저주(curse of horizon)를 완화하기 위해 바이어스-분산 감소(bias-and-variance reduction) 기법을 적용하는 것입니다. 우리는 결과적인 알고리즘을 Reversal Q-learning (RQL)이라고 부릅니다. RQL은 이전의 플로우 기반 강화학습 방법들에 비해 여러 가지 장점이 있습니다: 시간에 따른 역전파(backpropagation through time) 문제가 없으며, 학습된 가치 함수를 더 잘 활용하고, 완전하고 표현력 있는 플로우 정책을 직접 학습합니다. 50개의 도전적인 시뮬레이션된 로봇 작업에 대한 실험을 통해, 우리는 RQL이 최첨단 플로우 기반 오프라인 강화학습 알고리즘들과 비교하여 최고의 평균 오프라인 강화학습 성능을 이끌어냄을 보여줍니다.
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.