Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks
원문 초록
Training a deep network policy for robot manipulation is notoriously costly and time consuming as it depends on collecting a significant amount of real world data. To work well in the real world, the policy needs to see many instances of the task, including various object arrangements in the scene as well as variations in object geometry, texture, material, and environmental illumination. In this paper, we propose a method that learns to perform table-top instance grasping of a wide variety of objects while using no real world grasping data, outperforming the baseline using 2.5D shape by 10%. Our method learns 3D point cloud of object, and use that to train a domain-invariant grasping policy. We formulate the learning process as a two-step procedure: 1) Learning a domain-invariant 3D shape representation of objects from about 76K episodes in simulation and about 530 episodes in the real world, where each episode lasts less than a minute and 2) Learning a critic grasping policy in simulation only based on the 3D shape representation from step 1. Our real world data collection in step 1 is both cheaper and faster compared to existing approaches as it only requires taking multiple snapshots of the scene using a RGBD camera. Finally, the learned 3D representation is not specific to grasping, and can potentially be used in other interaction tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Consensus-Driven Uncertainty for Robotic Grasping based on RGB Perception
시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
JENGA: Object selection and pose estimation for robotic grasping from a stack
RoHOI: Robustness Benchmark for Human-Object Interaction Detection
Car Object Counting and Position Estimation via Extension of the CLIP-EBC Framework
DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.