정교한 파지 안정성을 위한 시계열 시각-촉각 학습
Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
인간은 손가락 끝의 촉각 피드백을 활용하여 거의 완벽한 성공률로 일상적인 물체를 파지(grasp)할 수 있지만, 기존 로봇 파지 연구의 상당수는 평행 그리퍼(parallel gripper)를 사용한 비전 기반 파지 선택에 중점을 두고 있습니다. 본 연구에서는 고해상도 동적 촉각 센싱이 다지 로봇 손(dexterous robotic hand)의 파지 안정성 예측 및 모델 기반 파지에 어떻게 기여하는지 체계적으로 조사합니다. 이를 위해 4개의 Digit 360 촉각 센서를 장착한 다지 로봇 손을 사용하여 200개 물체에 대한 10,000회의 파지 시도 데이터셋을 수집하였으며, 각 파지 과정 전반에 걸쳐 외부 비전, 고유수용감각(proprioception), 촉각 스트림을 기록했습니다. 이 데이터셋을 바탕으로 파지 전 관측값으로부터 들어올린 후(post-lift)의 안정성을 예측하는 엔드투엔드 시계열 멀티모달 모델을 학습하고 센싱 모달리티 및 인코딩 백본을 비교했습니다. 실험 결과와 통제된 입력 절제(ablation) 연구는 촉각, 특히 고해상도 동적 촉각을 통합하는 것이 파지 안정성 예측을 향상시킴을 보여줍니다. 마지막으로, 학습된 예측기를 실제 로봇에 온라인 안정성 게이트로 적용한 결과, 시각-촉각 모델 기반 재파지(regrasping)를 통해 비촉각 게이트 대비 실행된 들어올리기 성공률을 10.5%p 향상시켰습니다. 이러한 결과는 풍부한 손가락 끝 센싱과 촉각의 동역학을 포착하는 표현력 있는 시계열 모델이 명시적인 접촉이나 힘 모델링 없이도 다지 로봇 손의 학습 기반 파지를 지원할 수 있음을 보여주며, 촉각 경험에서 안정적인 정교한 조작으로 나아가는 확장 가능한 데이터 기반 경로를 제시합니다. 데이터셋은 https://lasr-lab.github.io/dexterous-grasp-stability/ 에서 공개되어 있습니다.