arXiv:2610.02338v1 cs.RO

SoTa: 정교한 조작을 위한 소프트 촉각 스킨

SoTa: Soft Tactile Skins for Dexterous Manipulation

Jingyun Yang, Baiyu Shi, Timothy Yu, Haitian Liu, Alberta Longhini, Weichen Wang, Rika Antonova, Zhenan Bao, Jeannette Bohg

제출 2026-10-01

저자 비고

arXiv Comments

The first three authors contributed equally. Project website: https://sota-skin.github.io

한국어 초록

점점 더 많은 연구들이, 촉각 센싱(tactile sensing)이 정교한 조작(dexterous manipulation)에서 비전(vision)을 보완하는 접촉 정보를 로봇 정책(policy)에 제공한다는 것을 시사하고 있다. 그러나 시각-촉각(visuo-tactile) 로봇 데이터는 여전히 부족하다: 정교한 시연(demonstration)은 로봇을 원격 조작(teleoperation)해야 하므로 데이터셋 규모가 제한된다. 인간의 시연은 수집 비용이 훨씬 저렴하여 이러한 데이터를 확장할 수 있는 방법을 제공하지만, 이는 인간과 로봇의 손이 서로 대응하는 신호를 갖는 촉각 센서를 장착하고 있을 때만 가능하다. 이를 위해서는 서로 다른 손 형태(geometry)에 맞게 변형되고, 손 전체를 덮으며, 신체(embodiment) 간에 공통된 배치(layout)를 공유하는 센서가 필요하다. 우리는 SoTa를 제시한다. 이는 저비용 정전식(capacitive) 촉각 스킨으로, 인간과 로봇 모두에서 손 전체를 덮으면서도 대응하는 손가락 및 손바닥 영역에 걸쳐 202개의 택셀(taxel)로 구성된 공유 배치를 유지한다. 직물 전극(fabric electrode)을 사용한 다층 설계(multilayer design)를 통해, 스킨 한 장당 10달러 미만의 재료비로 맞춤형 형태의 얇고 부드러운 스킨을 자체 제작(in-house fabrication)할 수 있다. 이 센서는 10,000회의 하중-제거(loading-unloading) 사이클 후에도 초기 응답 범위(response span)의 97% 이상을 유지하며, 배선(trace)은 1,280회의 꽉 쥔 주먹(tight-fist) 접힘 사이클 동안 연속성을 유지한다. 공유된 택셀 배치는 공통의 촉각 인코더(tactile encoder)를 사용하여 학습된 센서 간 매핑(cross-sensor mapping) 없이도 인간-로봇 공동 학습(co-training)을 지원한다. 접촉이 많은(contact-rich) 세 가지 조작 과제에서, 촉각 관측(observation)은 비전만 사용하는 정책보다 분포 내(in-distribution) 성공률을 향상시킨다. 고정된 로봇 시연 예산 하에서, 인간 시연을 추가하면 8개의 평가 조건에 걸친 평균 성공률이 22.8%에서 45.9%로 두 배 이상 향상되며, 5개의 분포 외(out-of-distribution) 조건 모두에서 성공률이 개선된다. 우리는 이 스킨을 제작하고 운용하는 데 필요한 자료를 오픈소스로 공개할 계획이다.

원문 초록

A growing body of work suggests that tactile sensing gives robot policies contact information that complements vision in dexterous manipulation. However, visuo-tactile robot data remains scarce: dexterous demonstrations require teleoperating robots, which limits dataset scale. Human demonstrations are far cheaper to collect and offer a path to scale this data, but only if human and robot hands carry tactile sensors with corresponding signals. This requires sensors that conform to different hand geometries, cover the full hand, and share a common layout across embodiments. We present SoTa, a low-cost capacitive tactile skin that provides full-hand coverage on humans and robots while preserving a shared layout of 202 taxels across corresponding finger and palm regions. Our multilayer design with fabric electrodes enables in-house fabrication of thin, soft skins with customizable geometry for under $10 in materials per skin. The sensor retains over 97% of its initial response span after 10,000 loading-unloading cycles with traces retaining continuity through 1,280 tight-fist folding cycles. The shared taxel layout supports human-robot co-training with a common tactile encoder and no learned cross-sensor mapping. Across three contact-rich manipulation tasks, tactile observations improve in-distribution success over vision-only policies. With a fixed robot demonstration budget, adding human demonstrations more than doubles mean success across eight evaluation conditions, from 22.8% to 45.9%, improving success in all five out-of-distribution conditions. We plan to open-source the resources needed to fabricate and operate these skins.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02338v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24660v1cs.RO공통 태그 Imitation Learning, dexterous manipulation, tactile sensing

Touch2Robot: 인간 시연 루프 내의 로봇 촉각 피드백

Touch2Robot: Robot Touch in the Human Demonstration Loop

인간의 시연(demonstration)은 조작(manipulation) 데이터를 수집하는 확장 가능한 방법을 제공하지만, 이를 로봇 손으로 전이할 때 접촉(contact)이 불안정하거나 실행 불가능할 수 있습니다. 타깃 로봇에서 직접 시연을 수집하면 이러한 불일치를 피할 수 있지만, 데이터 수집 비용이 크게 증가합니다. 이러한 트레이드오프를 해결하기 위해, 본 논문에서는 인간이 타깃 로봇 손이 물체와 어떻게 접촉할지 확인하면서 시연을 수집할 수 있도록 지원하는 프레임워크인 Touch2Robot을 제안합니다. 연구진은 인간 조작 과정에서 인간의 손 움직임, 촉각 장갑(tactile-glove) 측정값, 물체 움직임을 캡처합니다. 이러한 기록은 기록된 인간의 터치와 일치하는 접촉을 선호하면서 시연된 물체 움직임을 재현하도록 물체별 강화학습(RL) 정책을 유도합니다. 이후 학습된 행동들을 유입되는 인간 관측치와 물체 기하학적 구조를 로봇 손 형상으로 매핑하는 통합 실시간 리타게터(retargeter)로 증류(distillation)합니다. 수집 중에는 예측된 로봇 형상이 시뮬레이션에서 추적된 물체 포즈와 동기화되어 로봇-물체 접촉을 재구성하며, 이를 시각화하여 시연자가 타깃 손에 맞춰 후속 상호작용을 조정할 수 있도록 돕습니다. 4개의 실제 환경 태스크 전반에서 Touch2Robot은 시각 전용 피드백 대비 실제 로봇 리플레이 완료율을 평균 37.9%에서 72.1%로 향상시키는 동시에, 리플레이 성공 시연당 수집 시간을 58.6초에서 18.2초로 단축했습니다. 재구성된 타깃 손 접촉은 실제 로봇 촉각 측정값 대비 44.2%의 F1 점수를 달성했으며, Touch2Robot 시연으로 학습된 정책은 시각 전용 피드백 대비 다운스트림 Diffusion Policy 성능을 29.1%포인트 향상시켰습니다. 이러한 결과는 로봇 촉각을 인간 시연 루프에 도입함으로써 확장 가능한 정교한 조작(dexterous manipulation) 데이터 수집의 품질과 효율성을 모두 향상시킴을 보여줍니다. 프로젝트 웹페이지: https://Touch2Robot.github.io/.

arXiv:2610.03333v1cs.RO공통 태그 Imitation Learning, tactile sensing

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

arXiv:2610.02840v1cs.RO공통 태그 Imitation Learning, dexterous manipulation

PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.

arXiv:2610.00360v1cs.RO공통 태그 Imitation Learning, dexterous manipulation

DexPolicy: 궤적 유도 기반 정밀 조작을 위한 스케줄링된 탐험

DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation

정밀 조작(dexterous manipulation)을 위한 강화학습(RL)은 손가락과 물체 간의 접촉을 찾아낸 다음 물체를 정밀하게 제어해야 하지만, 첫 번째 목표에 기여하는 행동 노이즈(action noise)가 두 번째 목표를 방해할 수 있습니다. 강화학습이 사람의 영상으로부터 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 유도(trajectory-guided) 환경에서, 기준선(baseline) PPO 실행은 500만 스텝 후에도 초기 행동 노이즈 근처에서 종료되므로 탐험(exploration) 스케일을 명시적으로 제어할 필요성이 제기됩니다. DexPolicy는 손실(loss), 아키텍처, 보상(reward), 옵티마이저(optimizer) 설정을 고정한 채로, 탐험 스케일을 학습(training) 스텝의 명시적 함수로 만들어 넓은 탐험에서 좁은 탐험으로 점진적으로 감소(annealing)시킵니다. 본 연구에서는 세 가지 정책 최적화 설정을 다룹니다: PPO, 크리틱이 없는 GRPO 지속(continuation), 그리고 플로우 매개변수화 PPO 변형(FPO). 5개의 YCB 물체와 3개의 학습 시드에 걸쳐, 평균 결정론적 Target 성공률은 각각 49.4%에서 68.1%(FPO), 14.1%에서 45.4%(GRPO), 32.0%에서 35.7%(PPO)로 상승합니다. Inspire/RH56 손이 장착된 RealMan RM75 로봇 팔에서 물체-방법 조건당 하나의 학습된 모델(model)을 사용하여 3개의 물체에 대해 360회 시험한 결과, 평균 Target 성공률이 25.0%에서 85.0%(FPO), 10.0%에서 63.3%(GRPO), 8.3%에서 43.3%(PPO)로 향상되었습니다. PPO 구성 요소 스크리닝에서는 테스트된 옵티마이저 수축보다 노이즈 제어가 더 우세한 것으로 나타났으며, 선택된 PPO 스케줄은 세 가지 테스트 대상 물체에서 동일한 종단을 가진 선형 감쇠보다 더 높은 평균 Target 성공률을 산출합니다. 학습 리턴(return), 결정론적 Target 성공률, 실행 노이즈에 대한 허용 오차는 서로 분리되므로, 스케줄은 과제 및 정책 최적화 설정에 따라 의도된 실행 조건 하에서의 최종 과제 성공률로 평가되어야 합니다. 코드: https://github.com/AIGeeksGroup/DexPolicy. 웹사이트: https://aigeeksgroup.github.io/DexPolicy.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.