정교한 파지 안정성을 위한 시계열 시각-촉각 학습
Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
한국어 초록
인간은 손가락 끝의 촉각 피드백을 활용하여 거의 완벽한 성공률로 일상적인 물체를 파지(grasp)할 수 있지만, 기존 로봇 파지 연구의 상당수는 평행 그리퍼(parallel gripper)를 사용한 비전 기반 파지 선택에 중점을 두고 있습니다. 본 연구에서는 고해상도 동적 촉각 센싱이 다지 로봇 손(dexterous robotic hand)의 파지 안정성 예측 및 모델 기반 파지에 어떻게 기여하는지 체계적으로 조사합니다. 이를 위해 4개의 Digit 360 촉각 센서를 장착한 다지 로봇 손을 사용하여 200개 물체에 대한 10,000회의 파지 시도 데이터셋을 수집하였으며, 각 파지 과정 전반에 걸쳐 외부 비전, 고유수용감각(proprioception), 촉각 스트림을 기록했습니다. 이 데이터셋을 바탕으로 파지 전 관측값으로부터 들어올린 후(post-lift)의 안정성을 예측하는 엔드투엔드 시계열 멀티모달 모델을 학습하고 센싱 모달리티 및 인코딩 백본을 비교했습니다. 실험 결과와 통제된 입력 절제(ablation) 연구는 촉각, 특히 고해상도 동적 촉각을 통합하는 것이 파지 안정성 예측을 향상시킴을 보여줍니다. 마지막으로, 학습된 예측기를 실제 로봇에 온라인 안정성 게이트로 적용한 결과, 시각-촉각 모델 기반 재파지(regrasping)를 통해 비촉각 게이트 대비 실행된 들어올리기 성공률을 10.5%p 향상시켰습니다. 이러한 결과는 풍부한 손가락 끝 센싱과 촉각의 동역학을 포착하는 표현력 있는 시계열 모델이 명시적인 접촉이나 힘 모델링 없이도 다지 로봇 손의 학습 기반 파지를 지원할 수 있음을 보여주며, 촉각 경험에서 안정적인 정교한 조작으로 나아가는 확장 가능한 데이터 기반 경로를 제시합니다. 데이터셋은 https://lasr-lab.github.io/dexterous-grasp-stability/ 에서 공개되어 있습니다.
원문 초록
Humans can grasp everyday objects with almost perfect success rates using fingertip tactile feedback, yet much of the robotic grasping literature emphasizes vision-based grasp selection with parallel grippers. In this work, we systematically investigate how high-resolution, dynamic tactile sensing contributes to grasp stability prediction and model-guided grasping in dexterous robotic hands. To this end, we collected a dataset of 10,000 grasp trials across 200 objects using a multi-fingered robotic hand equipped with four Digit 360 tactile sensors, recording external vision, proprioception, and tactile streams throughout each grasp. With this dataset, we trained end-to-end temporal multimodal models to predict post-lift stability from pre-lift grasp observations and compared sensing modalities and encoding backbones. Experimental results and controlled input ablations show that incorporating touch, and particularly high-resolution, dynamic touch, improves grasp stability prediction. Finally, we deployed the learned predictor as an online stability gate on the real robot, where visuo-tactile model-guided regrasping improved the success rate among executed lifts by 10.5 percentage points over a non-tactile gate. These results show how rich fingertip sensing and expressive temporal models that capture the dynamics of touch can support learned grasping with multi-fingered hands without explicit contact or force modeling, providing a scalable data-driven path from tactile experience toward stable dexterous manipulation. The dataset is publicly available at https://lasr-lab.github.io/dexterous-grasp-stability/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
12 Pages. Website: https://lasr-lab.github.io/dexterous-grasp-stability/