arXiv:2608.19776v3 cs.RO

CoToGrasp: 표준 작업 공간 학습을 통한 접촉 위상 조건부 정밀 파지 합성

CoToGrasp: Contact-Topology-Conditioned Dexterous Grasp Synthesis via Canonical Workspace Learning

Julien Merand, Boris Meden, Liming Chen, Mathieu Grossard

제출 2026-08-20

저자 비고

arXiv Comments

Project website at https://cea-list.github.io/cotograspweb/

한국어 초록

현재의 정밀 파지(dexterous grasp) 플래너들은 주로 물리적 안정성을 최적화하는 데 집중하며, 후속 기능적 작업을 지원하기 위해 물체를 어떻게 파지해야 하는지보다는 파지가 가능한지 여부에만 초점을 맞춥니다. 그러나 특정 인간 파지 분류체계(grasp taxonomy)를 조건으로 파지를 합성하려면 일반적으로 지나치게 큰 비용이 드는 물체별 주석 데이터셋이 필요합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 특정 접촉 위상(contact topology)을 엄격한 조건으로 삼아 다양하고 안정적인 파지를 합성하는 새로운 생성 프레임워크인 CoToGrasp을 제안합니다. 데이터 수집의 병목을 우회하기 위해 CoToGrasp은 완전히 물체 무관(object-agnostic) 방식으로 학습됩니다. 본 연구에서는 물체의 국소 특징(feature)을 통합된 그리퍼 중심 도메인으로 투영하는 특징 기반 표준 작업 공간(canonical workspace)을 도입하여, 임의의 물체 기하학으로부터 의미적·기능적 의도를 효과적으로 분리합니다. 모델은 이 작업 공간 내에서 그리퍼의 본질적인 접촉 다양체(contact manifold)를 학습함으로써, 추론(inference) 시 보지 못한 물체에 대해서도 제로샷(zero-shot) 일반화를 달성합니다. 대규모 DexGraspNet 데이터셋에 대한 광범위한 평가 결과, CoToGrasp은 기존의 분류체계 기반 플래너들을 능가하며 최고 수준(SOTA)의 성능을 달성함을 입증했습니다. 마지막으로 실제 로봇 플랫폼에서 합성된 접촉 위상의 물리적 실현 가능성과 기구학적 타당성을 검증했습니다. 코드는 프로젝트 웹사이트(https://cea-list.github.io/cotograspweb/)에서 확인할 수 있습니다.

원문 초록

Current dexterous grasp planners primarily optimize for physical stability, focusing on whether an object can be grasped rather than how it should be grasped to support downstream functional tasks. However, conditioning grasp synthesis on specific human grasp taxonomies typically requires prohibitively expensive, object-annotated datasets. To address these limitations, we propose CoToGrasp, a novel generative framework that synthesizes diverse, stable grasps strictly conditioned on specific contact topologies. To bypass the data collection bottleneck, CoToGrasp is trained entirely in an object-agnostic manner. We introduce a feature-based canonical workspace that projects local object features into a unified gripper-centric domain, effectively decoupling the semantic functional intent from the arbitrary object geometry. By learning the intrinsic contact manifold of the gripper within this workspace, our model achieves zero-shot generalization to unseen objects at inference. Extensive evaluations on the large-scale DexGraspNet dataset demonstrate that CoToGrasp achieves state-of-the-art performance, outperforming existing taxonomy-guided planners. Finally, we demonstrate the physical viability and kinematic feasibility of our synthesized contact topologies on a physical robot platform. Code is available on our project website at https://cea-list.github.io/cotograspweb/ .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.19776v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.14944v3cs.RO공통 태그 dexterous grasping

HRDexDB: 인간 및 다중 로봇 임바디먼트에 걸친 4D 정교한 파지 데이터셋

HRDexDB: A 4D Dexterous Grasping Dataset Across Human and Multiple Robot Embodiments

본 논문에서는 5개의 임바디먼트(embodiment)에 걸쳐 시간에 따른 3D 손-물체 상호작용 궤적을 캡처한 실제 환경 4D 정교한 파지(dexterous grasping) 데이터셋인 HRDexDB를 제시합니다. 이 데이터셋은 100개의 다양한 물체에 대한 3,200회의 시도로 구성됩니다. 동기화된 다중 카메라 시스템과 통합 재구성 파이프라인을 활용하여, HRDexDB는 성공/실패 어노테이션과 함께 다중 뷰 및 1인칭 시점(egocentric) RGB 관측치, 3D 손 기하구조, 로봇 상태, 물체의 6D 포즈 궤적을 제공합니다. 인간과 로봇의 손이 공통 물체와 상호작용하므로 임바디먼트별 파지 전략과 접촉 패턴에 대한 연구가 가능합니다. 본 연구는 인간-로봇 간 접촉 맵 전이, 시각적 로봇-물체 접촉 추정, 검색 보조 파지를 통해 본 데이터셋의 유용성을 입증합니다. 이러한 결과를 종합하여 HRDexDB는 인간 및 로봇 임바디먼트 전반에서 정교한 상호작용을 연구하고 학습하기 위한 유용한 자원으로 자리매김합니다.

arXiv:2502.20805v3cs.RO공통 태그 grasp synthesis

FunHOI: 기능적 텍스트 가이던스를 통한 어노테이션 없는 3D 손-물체 상호작용 생성

FunHOI: Annotation-Free 3D Hand-Object Interaction Generation via Functional Text Guidance

손-물체 상호작용(HOI)은 인간과 환경 사이의 근본적인 연결고리이지만, 그 정교하고 복잡한 자세는 제스처 제어에 있어 상당한 도전 과제를 제시한다. AI와 로보틱스 분야의 눈부신 발전에도 불구하고, 기계가 손-물체 상호작용을 이해하고 시뮬레이션하도록 하는 것, 특히 기능적 파지 작업의 의미론(semantics)을 포착하는 것은 여전히 큰 도전으로 남아 있다. 기존 연구들은 안정적이고 정확한 3D 파지를 생성할 수 있지만, 파지 의미론을 고려하지 않아 기능적 파지를 달성하기에는 아직 부족하다. 이 문제를 해결하기 위해, 우리는 기능적 텍스트에 의해 구동되는 3D HOI를 생성하는 혁신적인 2단계 프레임워크인 Functional Grasp Synthesis Net(FGS-Net)을 제안한다. 이 프레임워크는 텍스트 기반 3D 모델 생성기인 Functional Grasp Generator(FGG)와 포즈 최적화 전략인 Functional Grasp Refiner(FGR)로 구성된다. FGG는 텍스트 입력을 기반으로 손과 물체의 3D 모델을 생성하고, FGR은 Object Pose Approximator와 에너지 함수를 활용하여 포즈를 파인튜닝함으로써 손과 물체 사이의 상대적 위치가 인간의 의도와 일치하고 물리적으로 타당하도록 보장한다. 광범위한 실험을 통해, 우리의 접근 방식이 추가적인 3D 어노테이션 데이터 없이도 정밀하고 고품질의 HOI 생성을 달성함을 입증한다.

arXiv:2606.12728v1cs.RO공통 태그 dexterous grasping

EquiDexFlow: Contact-Grounded SE(3)-Equivariant Dexterous Grasp Generative Flows

학습된 정교 파지(dexterous grasp) 생성기 대부분은 접촉력 검증을 하류(downstream) 단계로 미루기 때문에, 운동학적으로 타당한 자세라도 안정적인 물리적 파지 조건을 위반할 수 있다. 본 논문에서는 이 문제를 EquiDexFlow로 해결한다. EquiDexFlow는 SE(3)-등변(equivariant) 플로우 매칭(flow-matching) 모델로, 객체 포인트 클라우드로부터 손목 자세, 관절 각도, 손끝 접촉점, 표면 법선, 접촉력을 통합적으로 예측한다. 본 아키텍처는 접촉점을 객체 표면에 투영하고 힘을 쿨롱 마찰 원뿔(Coulomb friction cone) 내로 구조적으로 제한하므로, 손실 패널티 없이도 배치 조건과 마찰 준수 조건이 보장된다. 엔드투엔드 SE(3) 등변성을 이론적으로 증명하고 200회 회전에 걸쳐 실험적으로 검증하였으며, 손목 잔차는 $0.04^\circ$ 이하, 관절 편차는 정확히 0을 달성하였다. 16-DoF Allegro Hand를 위해 81개 객체에 대한 8,100개의 힘-폐쇄(force-closure) 파지로 학습된 본 모델은 마찰 위반 0건, 최고 복합 점수, 그리고 모든 어블레이션 변형 중 가장 낮은 렌치(wrench) 잔차를 달성하였다. 디코딩된 손끝 접촉점을 손가락별 역기구학(inverse kinematics)을 통해 16-DoF LEAP Hand로 리타겟팅하였으며, 하드웨어 실현 가능 정제(refinement)를 통해 렌치 균형을 유지하면서 모든 관절을 구동기 범위 내 최소 5% 이내로 위치시킨다. 실제 로봇에서 리타겟팅된 EquiDexFlow 디코딩 파지는 6개의 테스트 객체 모두에 대해 개루프(open-loop) 집어서-유지하기 실험을 완료하였으며, 모든 비대칭 객체는 정준 자세와 $120^\circ$ 동시 회전(co-rotation) 모두에서 성공하였다. 영상, 코드, 체크포인트는 https://equidexflow.github.io 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.