LAGR: 과제 지향 파지를 위한 언어 인식 파지 재순위화
LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping
한국어 초록
파지는 로봇 조작의 근본적인 능력이며, 적절한 파지는 후속 과제에 따라 달라진다. 예를 들어 망치는 두드릴 때는 손잡이를 잡아야 하지만 건네줄 때는 머리 부분을 잡아야 한다. 이러한 파지를 선택하려면 물체에 대한 물리적 실현 가능성과 과제에 대한 적합성이라는 두 가지 기준을 고려해야 한다. 이러한 접근법을 개발하려면 실제 관측에 대해 실현 가능성 점수와 과제 점수를 모두 갖춘 조밀한 파지 레이블이 필요하지만, 기존의 과제 지향 파지 데이터셋은 규모가 작거나 합성된 것이거나 주석 비용이 크다. 이러한 격차를 해소하기 위해 $17$개 물체 범주의 100,911개 이미지-과제 쌍에 대해 점수가 매겨진 268만 개의 5-DoF 파지 주석으로 구성된 데이터셋을 구축하였다. 또한 이 두 가지 과제를 명시적으로 다루는 과제 지향 파지 검출 방법인 LAGR을 소개한다. 비전-언어 입력이 주어지면 LAGR은 먼저 물리적 실현 가능성 점수와 함께 과제 비의존적 파지 제안을 생성한 다음, 모든 제안을 함께 추론하는 언어 조건 재순위화기로 생성된 파지에 점수를 매긴다. 실험 결과 LAGR은 차선 방법보다 9.3 퍼센트 포인트 높은 성능을 보인다. 또한 Franka Research 3 로봇으로 과제 지향 파지를 실행하여 실제 물체에서 LAGR을 검증한다.
원문 초록
Grasping is a fundamental capability for robotic manipulation, with the appropriate grasp depending on the downstream task. For example, a hammer should be held by its handle for hammering but by its head when it is handed over. Selecting such a grasp requires consideration of two criteria: physical feasibility on the object and suitability for the task. Developing such an approach requires dense grasp labels with both feasibility and task scores on real observations, but existing task-oriented grasping datasets are small, synthetic, or costly to annotate. To address this gap, we construct a dataset of 2.68 million scored 5-DoF grasp annotations over 100,911 image-task pairs from $17$ object categories. Additionally, we introduce LAGR, a task-oriented grasp detection method that explicitly addresses both these challenges. Given vision-language inputs, LAGR first generates task-independent grasp proposals along with a physical feasibility score, and then scores the generated grasps with a language-conditioned re-ranker that reasons over all proposals jointly. Experiments show that LAGR outperforms the next best method by 9.3 percentage points. We further validate LAGR on real objects by executing task-oriented grasps with a Franka Research 3 robot.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23858v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.