arXiv:2512.00324v4 cs.RO

MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation

Jinda Du, Jieji Ren, Qiaojun Yu, Ningbin Zhang, Yu Deng, Xingyu Wei, Yufei Liu, Guoying Gu, Xiangyang Zhu

제출 2025-11-29

원문 초록

Dexterous robotic hands are expected to perform complex, contact-rich object manipulation, but learning such skills remains challenging because high-dimensional hands require high-fidelity demonstrations. Imitation learning provides a practical route for acquiring dexterous manipulation skills from human demonstrations, yet collecting synchronized multimodal demonstrations with accurate hand actions and tactile observations remains a key bottleneck. We present MILE, a teleoperation-based data-collection system comprising the human-first MILE exoskeleton and the mechanically corresponding MILE-Tac robotic hand. The system integrates custom-designed and fabricated modular joint encoders and compact MILE fingertip visuotactile sensor modules. The exoskeleton is informed by human-hand anatomy and ergonomic constraints, while the robotic hand is co-designed to preserve the selected four-finger kinematic topology. This correspondence enables joint-space command transfer and reduces reliance on task-space IK-based retargeting. The system synchronously records task-specific visual observations, four fingertip visuotactile streams, robot-hand proprioception, and exoskeleton-derived action commands. We evaluate MILE through a four-task teleoperation benchmark against representative glove-based and vision-based interfaces, and through imitation-learning experiments that compare policies trained with and without fingertip tactile input. The project page is available at https://sites.google.com/view/mile-system.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.00324v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13516v1cs.RO공통 태그 Imitation Learning, Benchmarking

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Benchmarking

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.02338v1cs.RO공통 태그 Imitation Learning, dexterous manipulation

SoTa: 정교한 조작을 위한 소프트 촉각 스킨

SoTa: Soft Tactile Skins for Dexterous Manipulation

점점 더 많은 연구들이, 촉각 센싱(tactile sensing)이 정교한 조작(dexterous manipulation)에서 비전(vision)을 보완하는 접촉 정보를 로봇 정책(policy)에 제공한다는 것을 시사하고 있다. 그러나 시각-촉각(visuo-tactile) 로봇 데이터는 여전히 부족하다: 정교한 시연(demonstration)은 로봇을 원격 조작(teleoperation)해야 하므로 데이터셋 규모가 제한된다. 인간의 시연은 수집 비용이 훨씬 저렴하여 이러한 데이터를 확장할 수 있는 방법을 제공하지만, 이는 인간과 로봇의 손이 서로 대응하는 신호를 갖는 촉각 센서를 장착하고 있을 때만 가능하다. 이를 위해서는 서로 다른 손 형태(geometry)에 맞게 변형되고, 손 전체를 덮으며, 신체(embodiment) 간에 공통된 배치(layout)를 공유하는 센서가 필요하다. 우리는 SoTa를 제시한다. 이는 저비용 정전식(capacitive) 촉각 스킨으로, 인간과 로봇 모두에서 손 전체를 덮으면서도 대응하는 손가락 및 손바닥 영역에 걸쳐 202개의 택셀(taxel)로 구성된 공유 배치를 유지한다. 직물 전극(fabric electrode)을 사용한 다층 설계(multilayer design)를 통해, 스킨 한 장당 10달러 미만의 재료비로 맞춤형 형태의 얇고 부드러운 스킨을 자체 제작(in-house fabrication)할 수 있다. 이 센서는 10,000회의 하중-제거(loading-unloading) 사이클 후에도 초기 응답 범위(response span)의 97% 이상을 유지하며, 배선(trace)은 1,280회의 꽉 쥔 주먹(tight-fist) 접힘 사이클 동안 연속성을 유지한다. 공유된 택셀 배치는 공통의 촉각 인코더(tactile encoder)를 사용하여 학습된 센서 간 매핑(cross-sensor mapping) 없이도 인간-로봇 공동 학습(co-training)을 지원한다. 접촉이 많은(contact-rich) 세 가지 조작 과제에서, 촉각 관측(observation)은 비전만 사용하는 정책보다 분포 내(in-distribution) 성공률을 향상시킨다. 고정된 로봇 시연 예산 하에서, 인간 시연을 추가하면 8개의 평가 조건에 걸친 평균 성공률이 22.8%에서 45.9%로 두 배 이상 향상되며, 5개의 분포 외(out-of-distribution) 조건 모두에서 성공률이 개선된다. 우리는 이 스킨을 제작하고 운용하는 데 필요한 자료를 오픈소스로 공개할 계획이다.

arXiv:2610.02826v1cs.AI공통 태그 Imitation Learning, Benchmarking

재귀적 자기 재작성을 통한 복합 작업을 위한 궤적 스케일링

Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

어려운 작업에서의 성공적인 궤적(trajectory)은 모델 개선을 위한 귀중한 지도(supervision) 정보를 제공하지만, 특화된 하네스(harness)는 배포 환경에서는 사용할 수 없는 개입을 도입하기도 합니다. 본 연구에서는 단일 베이스 모델인 Qwen-3.8-27B를 사용하여 다양한 하네스 환경에서 성공적인 해결책을 탐색하고, 이를 일반 하네스 환경의 학습(training) 궤적으로 재구성하는 프레임워크인 재귀적 자기 재작성(Recursive Self-Rewrite, RSR)을 제안합니다. 플래너(planner)는 절차를 런북(runbook)으로 추출하고, 크리틱(critic)은 검증기(verifier) 및 솔루션 유출을 걸러내며 재귀적 수정을 유도하고, 실행기(executor)는 새로운 샌드박스 환경에서 적격한 런북을 따릅니다. 자체 선별한 약 3천 개의 터미널 작업 전반에서 세 가지 하네스가 공동으로 759개의 작업을 해결하여, 기록된 풀에서 가장 뛰어난 개별 하네스보다 34.3% 더 많은 작업을 해결했습니다. RSR은 지도 파인튜닝(supervised finetuning)을 위해 2,001개의 성공적인 소스 궤적을 11,094개의 재작성된 궤적으로 확장합니다. 이러한 궤적으로 학습을 진행하면 베이스 모델과 직접 궤적 SFT 모두보다 우수한 성능을 보입니다. 베이스 모델과 비교하여 pass@3은 Terminal-Bench 2에서 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로, 자체 선별한 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 증가합니다. Long-Horizon Terminal-Bench에서의 과정 보상(process reward)은 0.21에서 0.29로 상승합니다. 이러한 결과는 하네스의 지원을 받은 다양한 경험이 일반 하네스 환경에서 작동하는 모델을 위한 재사용 가능한 역량으로 재구성될 수 있음을 보여줍니다.

arXiv:2610.02840v1cs.RO공통 태그 Imitation Learning, dexterous manipulation

PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.

arXiv:2610.02089v1cs.RO공통 태그 Imitation Learning, Benchmarking

HumanoidToolBench: 선택부터 이동 실행까지 휴머노이드 도구 사용 벤치마킹

HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution

로봇 하드웨어와 학습 방법이 발전함에 따라, 휴머노이드가 고유한 물리적 한계를 뛰어넘는 작업을 수행하기 위해서는 도구가 필요합니다. 성공적인 도구 사용을 위해서는 적절한 도구를 선택하고 조작(manipulation)과 필요 시 보행(locomotion)을 조율하여 작업을 완료해야 합니다. 기존 벤치마크는 휴머노이드에서 이러한 능력들을 종합적으로 평가하지 못합니다. 본 논문에서는 3가지 시나리오, 3가지 실행 수준, 2가지 도구 세트 모드를 아우르는 18개 작업 벤치마크인 HumanoidToolBench와 함께, 시뮬레이션 및 실제 Unitree G1 로봇에서 수집된 3,100개의 시연(demonstration) 데이터셋인 ToolBook을 소개합니다. 시뮬레이션에서 7개 정책, 실제 로봇에서 3개 정책을 평가한 결과 적절한 도구를 선택하는 것과 작업을 완수하는 것 사이에 상당한 격차가 있음을 확인했습니다. GR00T N1.7에 대한 심층 분석 결과, 보지 못한(unseen) 도구에 대한 선택 정확도가 감소하고 무관한 지시문이 주어져도 작업을 계속 실행하는 문제가 나타났습니다. 코드와 데이터는 https://snu-pi.github.io/HumanoidToolBench/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.