Towards Precise Robotic Grasping by Probabilistic Post-grasp Displacement Estimation
원문 초록
Precise robotic grasping is important for many industrial applications, such as assembly and palletizing, where the location of the object needs to be controlled and known. However, achieving precise grasps is challenging due to noise in sensing and control, as well as unknown object properties. We propose a method to plan robotic grasps that are both robust and precise by training two convolutional neural networks - one to predict the robustness of a grasp and another to predict a distribution of post-grasp object displacements. Our networks are trained with depth images in simulation on a dataset of over 1000 industrial parts and were successfully deployed on a real robot without having to be further fine-tuned. The proposed displacement estimator achieves a mean prediction errors of 0.68cm and 3.42deg on novel objects in real world experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Consensus-Driven Uncertainty for Robotic Grasping based on RGB Perception
Web2Grasp: 손-물체 상호작용 웹 이미지로부터 기능적 파지 학습
Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions
기능적 파지(functional grasping)는 다지 로봇 손이 물체를 효과적으로 조작할 수 있게 하는 데 필수적이다. 기존 연구는 대부분 물체를 단순히 잡는 것에 그치는 파워 그랙스(power grasp)에 집중하거나, 특정 물체에 대한 도메인 내(in-domain) 시연에 의존한다. 우리는 자연스럽고 기능적인 손-물체 상호작용(HOI)을 담은 웹 이미지에서 추출한 인간의 파지 정보를 활용하는 방법을 제안한다. 사전학습(pre-training)된 3D 재구성 모델을 사용하여 RGB 이미지로부터 3D 인간 HOI 메시(mesh)를 복원한다. 이러한 노이즈가 있는 HOI 데이터로 학습하기 위해, 우리는 (1) 손과 물체 사이의 기능적 상호작용 패턴을 학습하는 상호작용 중심(interaction-centric) 모델과 (2) 실행 불가능한 파지를 제거하는 기하학 기반 필터링, 그리고 외란(disturbance)에 견딜 수 있는 파지를 유지하기 위한 물리 시뮬레이션을 사용하는 방법을 제안한다. IssacGym 시뮬레이션에서, 재구성된 HOI 파지로 학습한 우리 모델은 웹 데이터셋의 물체에 대해 75.8%의 성공률을 달성하고, 보지 못한(unseen) 물체에도 일반화하며, 파지 성공률과 기능적 품질 모두에서 기준선 방법들을 능가한다. LEAP hand와 Inspire hand를 사용한 실세계 실험에서, 주사기, 스프레이 병, 칼, 집게(tongs) 같은 어려운 물체를 포함한 12개 물체 전반에 걸쳐 77.5%의 성공률을 달성한다. 프로젝트 웹사이트: https://web2grasp.github.io/.
JENGA: Object selection and pose estimation for robotic grasping from a stack
Category-Level and Open-Set Object Pose Estimation for Robotics
RoHOI: Robustness Benchmark for Human-Object Interaction Detection
Car Object Counting and Position Estimation via Extension of the CLIP-EBC Framework
토론
이 논문과 연결된 포럼 글이 아직 없습니다.