arXiv:2402.01303

AGILE: Approach-based Grasp Inference Learned from Element Decomposition

MohammadHossein Koosheshi, Hamed Hosseini, Mehdi Tale Masouleh, Ahmad Kalhor, Mohammad Reza Hairi Yazdi

제출 2024-02-02

원문 초록

Humans, this species expert in grasp detection, can grasp objects by taking into account hand-object positioning information. This work proposes a method to enable a robot manipulator to learn the same, grasping objects in the most optimal way according to how the gripper has approached the object. Built on deep learning, the proposed method consists of two main stages. In order to generalize the network on unseen objects, the proposed Approach-based Grasping Inference involves an element decomposition stage to split an object into its main parts, each with one or more annotated grasps for a particular approach of the gripper. Subsequently, a grasp detection network utilizes the decomposed elements by Mask R-CNN and the information on the approach of the gripper in order to detect the element the gripper has approached and the most optimal grasp. In order to train the networks, the study introduces a robotic grasping dataset collected in the Coppeliasim simulation environment. The dataset involves 10 different objects with annotated element decomposition masks and grasp rectangles. The proposed method acquires a 90% grasp success rate on seen objects and 78% on unseen objects in the Coppeliasim simulation environment. Lastly, simulation-to-reality domain adaptation is performed by applying transformations on the training set collected in simulation and augmenting the dataset, which results in a 70% physical grasp success performance using a Delta parallel robot and a 2 -fingered gripper.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01291v2cs.CV공통 태그 Domain Adaptation

ODDR: 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델

ODDR: One-Step Deshadow Diffusion via Reward Guidance

그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.