Scaling Vision-and-Language Navigation With Offline RL
원문 초록
The study of vision-and-language navigation (VLN) has typically relied on expert trajectories, which may not always be available in real-world situations due to the significant effort required to collect them. On the other hand, existing approaches to training VLN agents that go beyond available expert data involve data augmentations or online exploration which can be tedious and risky. In contrast, it is easy to access large repositories of suboptimal offline trajectories. Inspired by research in offline reinforcement learning (ORL), we introduce a new problem setup of VLN-ORL which studies VLN using suboptimal demonstration data. We introduce a simple and effective reward-conditioned approach that can account for dataset suboptimality for training VLN agents, as well as benchmarks to evaluate progress and promote research in this area. We empirically study various noise models for characterizing dataset suboptimality among other unique challenges in VLN-ORL and instantiate it for the VLN$\circlearrowright$BERT and MTVM architectures in the R2R and RxR environments. Our experiments demonstrate that the proposed reward-conditioned approach leads to significant performance improvements, even in complex and intricate environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 가이던스는 제어 가능한 정책 개선 연산자이다
Diffusion Guidance Is a Controllable Policy Improvement Operator
강화학습의 핵심에는 데이터에 담긴 성능을 넘어서는 학습이라는 개념이 있다. 그러나 이러한 시스템의 규모 확장은 매우 어려운 것으로 알려져 있다. 반면 생성 모델링 기법은 놀랍도록 확장성이 뛰어나고 학습이 간단한 것으로 입증되었다. 본 연구에서는 정책 개선과 확산 모델의 가이던스 사이의 직접적인 관계를 도출함으로써 이러한 두 강점을 결합한다. 그 결과로 얻은 프레임워크인 CFGRL은 지도 학습의 단순함으로 학습되면서도 데이터에 있는 정책을 더욱 개선할 수 있다. 오프라인 강화학습 과제에서 우리는 가이던스 가중치를 높일수록 성능이 향상되는 일관된 경향을 관찰한다. 특히 중요한 점은, CFGRL이 가치 함수를 명시적으로 학습하지 않고도 작동할 수 있어 목표 조건부 행동 복제와 같은 단순한 지도 학습 방법을 일반화하여 최적성을 더욱 우선시할 수 있으며, 전반적으로 "공짜로" 성능을 얻을 수 있다는 것이다.
완전 오프라인 강화학습
Fully Offline Reinforcement Learning
오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
NavMorph: A Self-Evolving World Model for Vision-and-Language Navigation in Continuous Environments
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.