arXiv:2412.13877

RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation

Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, Shichao Fan, Xinhua Wang, Fei Liao, Zhen Zhao, Guangyu Li 외 22명

제출 2024-12-18

원문 초록

In this paper, we introduce RoboMIND (Multi-embodiment Intelligence Normative Data for Robot Manipulation), a dataset containing 107k demonstration trajectories across 479 diverse tasks involving 96 object classes. RoboMIND is collected through human teleoperation and encompasses comprehensive robotic-related information, including multi-view observations, proprioceptive robot state information, and linguistic task descriptions. To ensure data consistency and reliability for imitation learning, RoboMIND is built on a unified data collection platform and a standardized protocol, covering four distinct robotic embodiments: the Franka Emika Panda, the UR5e, the AgileX dual-arm robot, and a humanoid robot with dual dexterous hands. Our dataset also includes 5k real-world failure demonstrations, each accompanied by detailed causes, enabling failure reflection and correction during policy learning. Additionally, we created a digital twin environment in the Isaac Sim simulator, replicating the real-world tasks and assets, which facilitates the low-cost collection of additional training data and enables efficient evaluation. To demonstrate the quality and diversity of our dataset, we conducted extensive experiments using various imitation learning methods for single-task settings and state-of-the-art Vision-Language-Action (VLA) models for multi-task scenarios. By leveraging RoboMIND, the VLA models achieved high manipulation success rates and demonstrated strong generalization capabilities. To the best of our knowledge, RoboMIND is the largest multi-embodiment teleoperation dataset collected on a unified platform, providing large-scale and high-quality robotic training data. Our project is at https://x-humanoid-robomind.github.io/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Robot Manipulation, Vision-Language-Action

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13732v1cs.CV공통 태그 Imitation Learning, Robot Manipulation, Vision-Language-Action

LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.

arXiv:2610.13945v1cs.RO공통 태그 Imitation Learning, Robot Manipulation, Vision-Language-Action

Splat2Act: 캡처된 장면에서 개인화된 VLA 조작으로

Splat2Act: From Captured Scenes to Personalized VLA Manipulation

범용 조작 정책(manipulation policy)을 가정이나 사무실에 도입하는 사용자는 로봇이 선반, 조리대, 테이블에서 자신의 물체를 집어 올리기를 원합니다. 그러나 $π_{0.5}$와 같은 강력한 범용 정책조차도 적응(adaptation) 없이는 우리가 캡처한 배포 장면에서 0%의 집기 성공률을 보이며, 모든 사용자의 환경에서 실제 시연(demonstration) 데이터를 수집하는 것은 비용이 지나치게 많이 듭니다. 본 논문에서는 휴대폰 스캔과 사용자의 물체 이미지만을 활용하여 사전학습된 비전-언어-행동(VLA, Vision-Language-Action) 정책을 특정 장면 및 물체 세트에 맞게 개인화하는 자동화된 real-to-sim-to-real 파이프라인인 Splat2Act를 제안합니다. 개별 테이블탑만 재구성하던 기존 real-to-sim 연구와 달리, Splat2Act는 건물 규모의 실내 환경에서 작동합니다. 즉, 3D 가우시안 스플래팅(3D Gaussian Splatting)과 충돌 기하학을 통해 사실적인 디지털 트윈을 구축하고, 테이블탑 및 비-테이블탑 수납 공간(receptacle)을 자동으로 감지하며, 실행 가능한 집기 작업을 생성하고, 특권 시뮬레이션 오라클(privileged simulation oracle)을 통해 성공적인 시연 데이터를 생성하므로 사람에게는 장면 및 물체 캡처 작업만 요구됩니다. 이동 가능한 중앙 면적이 104.87 m$^2$이고 7개의 수납 공간을 가진 101개의 스캔된 캠퍼스 환경에 적용했을 때, 이 파이프라인은 852개의 수납 공간과 68,000개 이상의 집기 시연 데이터를 생성했습니다. 우리는 $π_{0.5}$를 두 단계로 파인튜닝합니다. 1단계는 배포 장면 단독 또는 101개 전체 장면에서 가져온 수백 개의 공개 물체 에셋에 적응하고, 2단계는 배포 장면의 수납 공간에 놓인 사용자 고유의 물체에 맞춰 개인화합니다. 가장 강력한 개인화 정책은 목표 장면에서 62.5%의 종합 집기 성공률을 달성했습니다. 실제 Stretch 3에 배포했을 때, 동일한 정책은 12개 작업 하위 집합에서 63.9%의 성공률을 달성하여 해당 작업의 시뮬레이션 성공률인 66.7%를 근접하게 따랐습니다. 이러한 결과는 자동화된 real-to-sim-to-real 학습이 시뮬레이션 오라클 데이터만을 사용하여 VLA 조작 정책을 개인화할 수 있음을 시사합니다.

arXiv:2608.25757v5cs.RO공통 태그 Imitation Learning, Robot Manipulation, Vision-Language-Action

LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링

LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction

대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA

arXiv:2609.25562v2cs.RO공통 태그 Imitation Learning, Robot Manipulation, Vision-Language-Action

IndustrialVLA-Bench: 오픈 로봇 정책 모델에 대한 추적 가능한 다축 평가

IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models

오픈 로봇 정책은 점차 두 가지 패러다임을 따르고 있습니다. 비전-언어-행동 모델(VLA)은 관측값과 지시사항을 행동으로 직접 매핑하는 반면, 월드-행동 모델(WAM)은 학습된 비디오 또는 월드 역학을 정책 학습이나 행동 생성에 통합합니다. 두 방식 모두 동일한 조작 작업을 목표로 하며 대안적인 설계 선택을 나타내지만, 일반적으로 서로 다른 평가 프로토콜 하에서 보고되어 능력, 강건성, 언어 민감도 및 배포 비용 간의 트레이드오프가 불명확한 상태로 남아 있습니다. 본 연구에서는 통합된 보고 체계 하에서 공개된 6개의 VLA 및 WAM 시스템에 대한 근거 인식(evidence-aware) 평가인 IndustrialVLA-Bench를 제시합니다. 이는 LIBERO에서의 기본 능력, LIBERO-Plus에서의 비언어적 강건성, LIBERO-Para에서의 지시사항 민감도, 관측된 실행 비용을 분리하여 평가합니다. 보고된 작업 점수는 고정된 체크포인트와 추론 구성 하에서 서로 다른 무작위 시드를 사용한 3회의 완전한 평가를 집계한 결과입니다. 6개 시스템 전체에서 기본 LIBERO 평균 점수 차이는 1.58점에 불과한 반면, 강건성 및 패러프레이즈 요약 점수의 차이는 각각 14.62점과 31.08점에 달합니다. 프로토콜을 충실히 따른 3개 시스템으로 비교를 한정하더라도 이러한 양상(1.36, 14.62, 23.10점)이 유지되므로, 여기서 보고된 진단적 분리는 더 낮은 근거 계층에 의존하지 않습니다. 또한 모든 시스템에 대해 관측된 추론 지연 시간, 최대 메모리, 런타임 모드 및 근거 상태를 함께 보고합니다. 프로토콜 준수, 준재현, 검증 대기 항목은 명확히 구분되어 유지되며, 프로토콜 준수 항목만이 엄격한 비교를 뒷받침합니다. 어느 한 패러다임의 보편적 우월성을 주장하기보다는, IndustrialVLA-Bench는 공유된 실용적 기준에 따라 공개된 로봇 정책을 비교할 수 있는 추적 가능한 근거를 제공합니다. 코드와 평가 기록은 https://github.com/xiaoqi-7/IndustrialVLA-Bench 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.