Domain Randomization and Generative Models for Robotic Grasping
원문 초록
Deep learning-based robotic grasping has made significant progress thanks to algorithmic improvements and increased data availability. However, state-of-the-art models are often trained on as few as hundreds or thousands of unique object instances, and as a result generalization can be a challenge. In this work, we explore a novel data generation pipeline for training a deep neural network to perform grasp planning that applies the idea of domain randomization to object synthesis. We generate millions of unique, unrealistic procedurally generated objects, and train a deep neural network to perform grasp planning on these objects. Since the distribution of successful grasps for a given object can be highly multimodal, we propose an autoregressive grasp planning model that maps sensor inputs of a scene to a probability distribution over possible grasps. This model allows us to sample grasps efficiently at test time (or avoid sampling entirely). We evaluate our model architecture and data generation pipeline in simulation and the real world. We find we can achieve a $>$90% success rate on previously unseen realistic objects at test time in simulation despite having only been trained on random objects. We also demonstrate an 80% success rate on real-world grasp attempts despite having only been trained on random simulated objects.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Consensus-Driven Uncertainty for Robotic Grasping based on RGB Perception
Web2Grasp: 손-물체 상호작용 웹 이미지로부터 기능적 파지 학습
Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions
기능적 파지(functional grasping)는 다지 로봇 손이 물체를 효과적으로 조작할 수 있게 하는 데 필수적이다. 기존 연구는 대부분 물체를 단순히 잡는 것에 그치는 파워 그랙스(power grasp)에 집중하거나, 특정 물체에 대한 도메인 내(in-domain) 시연에 의존한다. 우리는 자연스럽고 기능적인 손-물체 상호작용(HOI)을 담은 웹 이미지에서 추출한 인간의 파지 정보를 활용하는 방법을 제안한다. 사전학습(pre-training)된 3D 재구성 모델을 사용하여 RGB 이미지로부터 3D 인간 HOI 메시(mesh)를 복원한다. 이러한 노이즈가 있는 HOI 데이터로 학습하기 위해, 우리는 (1) 손과 물체 사이의 기능적 상호작용 패턴을 학습하는 상호작용 중심(interaction-centric) 모델과 (2) 실행 불가능한 파지를 제거하는 기하학 기반 필터링, 그리고 외란(disturbance)에 견딜 수 있는 파지를 유지하기 위한 물리 시뮬레이션을 사용하는 방법을 제안한다. IssacGym 시뮬레이션에서, 재구성된 HOI 파지로 학습한 우리 모델은 웹 데이터셋의 물체에 대해 75.8%의 성공률을 달성하고, 보지 못한(unseen) 물체에도 일반화하며, 파지 성공률과 기능적 품질 모두에서 기준선 방법들을 능가한다. LEAP hand와 Inspire hand를 사용한 실세계 실험에서, 주사기, 스프레이 병, 칼, 집게(tongs) 같은 어려운 물체를 포함한 12개 물체 전반에 걸쳐 77.5%의 성공률을 달성한다. 프로젝트 웹사이트: https://web2grasp.github.io/.
JENGA: Object selection and pose estimation for robotic grasping from a stack
Category-Level and Open-Set Object Pose Estimation for Robotics
RoHOI: Robustness Benchmark for Human-Object Interaction Detection
Car Object Counting and Position Estimation via Extension of the CLIP-EBC Framework
토론
이 논문과 연결된 포럼 글이 아직 없습니다.