arXiv:2401.03306

MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning

Rafael Rafailov, Kyle Hatch, Victor Kolev, John D. Martin, Mariano Phielipp, Chelsea Finn

제출 2024-01-06

원문 초록

We study the problem of offline pre-training and online fine-tuning for reinforcement learning from high-dimensional observations in the context of realistic robot tasks. Recent offline model-free approaches successfully use online fine-tuning to either improve the performance of the agent over the data collection policy or adapt to novel tasks. At the same time, model-based RL algorithms have achieved significant progress in sample efficiency and the complexity of the tasks they can solve, yet remain under-utilized in the fine-tuning setting. In this work, we argue that existing model-based offline RL methods are not suitable for offline-to-online fine-tuning in high-dimensional domains due to issues with distribution shifts, off-dynamics data, and non-stationary rewards. We propose an on-policy model-based method that can efficiently reuse prior data through model-based value expansion and policy regularization, while preventing model exploitation by controlling epistemic uncertainty. We find that our approach successfully solves tasks from the MetaWorld benchmark, as well as the Franka Kitchen robot manipulation environment completely from images. To the best of our knowledge, MOTO is the first method to solve this environment from pixels.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23458v2cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

확산 가이던스는 제어 가능한 정책 개선 연산자이다

Diffusion Guidance Is a Controllable Policy Improvement Operator

강화학습의 핵심에는 데이터에 담긴 성능을 넘어서는 학습이라는 개념이 있다. 그러나 이러한 시스템의 규모 확장은 매우 어려운 것으로 알려져 있다. 반면 생성 모델링 기법은 놀랍도록 확장성이 뛰어나고 학습이 간단한 것으로 입증되었다. 본 연구에서는 정책 개선과 확산 모델의 가이던스 사이의 직접적인 관계를 도출함으로써 이러한 두 강점을 결합한다. 그 결과로 얻은 프레임워크인 CFGRL은 지도 학습의 단순함으로 학습되면서도 데이터에 있는 정책을 더욱 개선할 수 있다. 오프라인 강화학습 과제에서 우리는 가이던스 가중치를 높일수록 성능이 향상되는 일관된 경향을 관찰한다. 특히 중요한 점은, CFGRL이 가치 함수를 명시적으로 학습하지 않고도 작동할 수 있어 목표 조건부 행동 복제와 같은 단순한 지도 학습 방법을 일반화하여 최적성을 더욱 우선시할 수 있으며, 전반적으로 "공짜로" 성능을 얻을 수 있다는 것이다.

arXiv:2505.22442v4cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

완전 오프라인 강화학습

Fully Offline Reinforcement Learning

오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.

arXiv:2507.04447cs.CV공통 태그 Robot Manipulation공식 코드 · Papers with Code

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.