arXiv:2410.21845

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

제출 2024-10-29

원문 초록

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02092v4cs.RO공통 태그 Reinforcement Learning (RL), Imitation Learning

Guided Action Flow: 동결된 비전-언어-행동 정책을 위한 가치 유도 샘플링

Guided Action Flow: Value-Guided Sampling for Frozen Vision-Language-Action Policies

강화학습(reinforcement learning)은 지도 미세조정(supervised fine-tuning)을 넘어 비전-언어-행동(VLA) 정책을 개선할 수 있지만, 일반적으로 정책 매개변수(parameter)에 대한 추가적인 업데이트를 수반합니다. 플로우 매칭(flow-matching) 정책의 경우, 반복적인 행동 생성은 추론(inference) 중에 태스크 정보를 통합할 수 있는 추가적인 기회를 제공합니다. 본 논문에서는 로봇 태스크 롤아웃(rollout)으로부터 소형의 관측 조건부 행동-가치 크리틱(action-value critic)을 학습하고, 역시간 플로우 샘플링을 유도하기 위해 해당 크리틱의 행동 그래디언트(gradient)를 적용하는 Guided Action Flow(GAF)를 소개합니다. 지도 미세조정된 VLA는 크리틱 학습 및 배포 전반에 걸쳐 동결된 상태로 유지됩니다. 실제 로봇 실험 결과, 6개의 기본 조작 태스크 전반에서 종합 성공률이 60.0%에서 82.5%로 증가함을 보였습니다. 이 중 3개 태스크에서 평가된 6가지 조명 변경 및 물체 방해 요인 조건에서는 종합 성공률이 34.2%에서 49.2%로 향상되었습니다. 소거 연구(ablation) 및 롤아웃 분석은 학습된 유도 방향과 크리틱의 시각 및 고유수용성 감각(proprioceptive) 입력의 중요성을 뒷받침합니다. 0.45B 매개변수의 VLA와 함께 약 2.735M개의 학습 가능한 크리틱 매개변수를 갖춘 GAF는 컴팩트한 추론 시점 유도 모듈을 통해 태스크 결과가 행동 생성에 반영될 수 있도록 지원합니다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.