PyTorchKR Papers

최신 논문

총 24편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00033v3cs.RO

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.

arXiv:2606.24450v2cs.RO

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

Perceiving physical contact is fundamental to dexterous manipulation. While robots often rely on dedicated hardware tactile sensors, humans exhibit a remarkable ability to infer contact by integrating visual information with an innate sense of their body's pose and movement. Inspired by this embodied perceptual skill, we investigate whether a robot can learn to infer contact from vision, an approach that also offers a scalable alternative to tactile hardware specifically for binary contact estimation, which faces practical challenges in cost, fragility, and integration. We present NoContactNoWorries, a transformer-based multimodal framework that fuses RGB-D vision with the robot's proprioception to infer binary contact states as a pseudo-tactile signal for hand-object interactions. We validate by training a single contact prediction model on multiple objects and show that the inferred contact signal supports downstream reinforcement learning agents for in-hand object reorientation, generalizing to novel objects. Experiments in both simulation and on a real-world robot validate our approach, highlighting the feasibility of inferring contact from vision and proprioception. Project Page: https://soham2560.github.io/no-contact-no-worries/

arXiv:2606.12109v3cs.RO

형태학적 격차 해소: 의도 조건부 미세조정을 통한 VLA 모델의 정교한 조작 적응

Bridging the Morphology Gap: Adapting VLA Models to Dexterous Manipulation via Intent-Conditioned Fine-Tuning

Pretrained vision-language-action (VLA) models offer semantic and spatial priors for robot manipulation, but their parallel-gripper interfaces leave multi-finger contact coordination implicit. Adapting these models requires both timely grasp transitions and embodiment-specific hand trajectories. We introduce InDex, an intent-conditioned framework that connects these two requirements. A normalized aperture signal, derived from retargeted demonstrations, supervises a scalar grasp intent while preserving full hand-action supervision. Stage 1 learns synchronized end-effector-intent chunks; Stage 2 conditions a diffusion hand decoder on these predictions, visual-language context, and proprioception. Sequential optimization establishes the upstream interface before learning dexterous control with low-rate co-adaptation. Across four simulated tasks, InDex with $\pi_{0.5}$ achieves 85.8% mean task success, improving the native policy by 35.5 percentage points, and reaches 69.0% on held-out objects with similar geometry without fine-tuning or recalibration. Improvements also hold across three VLA backbones and separately trained real-world policies, where mean success increases from 71.0% to 83.0%. Component ablations and timing interventions support the value of explicit grasp-intent conditioning and expressive hand generation. These results identify arm-hand coordination as an actionable bottleneck in adapting parallel-gripper priors to dexterous manipulation.

arXiv:2607.28198v3cs.RO

UniCross: 통합 교차 스킬 정밀 조작 합성

UniCross: Unified Cross-Skill Dexterous Manipulation Synthesis

Many dexterous manipulation tasks require the object to remain securely held throughout the interaction. From the perspective of hand-object relational motion, such manipulation comprises four canonical skills: grasping, relocation, in-hand rotation, and in-hand translation. Human hands flexibly compose these skills to accomplish complex tasks. Existing approaches, however, model these skills separately with skill-specific action constraints, objectives, or even dedicated hand morphologies, which breaks the compatibility and continuity required for long-horizon composition. In this work, we present a unified framework that models all four skills in a single formulation instantiated with desired relational targets. The formulation preserves cross-skill compatibility and enables distillation of a single policy without skill identifiers, which achieves strong per-skill performance and generalizes to unseen objects. The compatibility further supports the policy to perform long-horizon skill chaining and execute relational targets unseen during training. The framework also applies across different hand morphologies. Together, these results suggest that distinct dexterous manipulation skills can be modeled as instantiations of a shared relational task formulation. Project page: https://zdchan.github.io/UniCross/

arXiv:2602.16863v3cs.RO

SimToolReal: 제로샷 정밀 도구 조작을 위한 객체 중심 정책

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

도구를 조작하는 능력은 로봇이 수행할 수 있는 작업의 범위를 크게 확장합니다. 하지만 도구 조작은 얇은 물체 파지, 손 안에서의 물체 회전, 강한 힘의 상호작용을 요구하므로 정밀한 손동작(dexterity) 중에서도 까다로운 범주에 속합니다. 이러한 동작에 대한 원격 조작 데이터를 수집하는 것은 어렵기 때문에, 시뮬레이션-현실 간(sim-to-real) 강화학습(RL)이 유망한 대안으로 꼽힙니다. 그러나 기존 접근 방식들은 일반적으로 각 작업마다 물체를 모델링하고 보상 함수를 튜닝하는 데 상당한 엔지니어링 노력을 필요로 합니다. 본 연구에서는 도구 조작을 위한 sim-to-real 강화학습 정책 일반화를 향한 진전으로서 SimToolReal을 제안합니다. 단일 물체와 단일 작업에 집중하는 대신, 시뮬레이션 환경에서 절차적 생성 방식으로 매우 다양한 도구 형태의 기초 물체(object primitives)를 생성하고, 각 물체를 무작위 목표 자세로 조작한다는 범용적인 목표 아래 단일 강화학습 정책을 학습시킵니다. 이러한 접근법을 통해 SimToolReal은 특정 물체나 작업에 특화된 별도의 학습 없이도 테스트 시점에 일반적인 정밀 도구 조작을 수행할 수 있습니다. 실험 결과, SimToolReal은 기존의 리타기팅 및 고정 파지 방식 대비 37% 향상된 성능을 보였으며, 특정 목표 물체와 작업에 대해 학습된 전문가 강화학습 정책과 대등한 성능을 달성함을 입증했습니다. 마지막으로 SimToolReal이 다양한 일상 도구 전반에 걸쳐 일반화됨을 보여주며, 24개 작업, 12개 물체 인스턴스, 6개 도구 범주에 걸친 120회의 실제 환경 롤아웃에서 강력한 제로샷(zero-shot) 성능을 달성함을 확인했습니다.

arXiv:2610.02338v1cs.RO

SoTa: 정교한 조작을 위한 소프트 촉각 스킨

SoTa: Soft Tactile Skins for Dexterous Manipulation

점점 더 많은 연구들이, 촉각 센싱(tactile sensing)이 정교한 조작(dexterous manipulation)에서 비전(vision)을 보완하는 접촉 정보를 로봇 정책(policy)에 제공한다는 것을 시사하고 있다. 그러나 시각-촉각(visuo-tactile) 로봇 데이터는 여전히 부족하다: 정교한 시연(demonstration)은 로봇을 원격 조작(teleoperation)해야 하므로 데이터셋 규모가 제한된다. 인간의 시연은 수집 비용이 훨씬 저렴하여 이러한 데이터를 확장할 수 있는 방법을 제공하지만, 이는 인간과 로봇의 손이 서로 대응하는 신호를 갖는 촉각 센서를 장착하고 있을 때만 가능하다. 이를 위해서는 서로 다른 손 형태(geometry)에 맞게 변형되고, 손 전체를 덮으며, 신체(embodiment) 간에 공통된 배치(layout)를 공유하는 센서가 필요하다. 우리는 SoTa를 제시한다. 이는 저비용 정전식(capacitive) 촉각 스킨으로, 인간과 로봇 모두에서 손 전체를 덮으면서도 대응하는 손가락 및 손바닥 영역에 걸쳐 202개의 택셀(taxel)로 구성된 공유 배치를 유지한다. 직물 전극(fabric electrode)을 사용한 다층 설계(multilayer design)를 통해, 스킨 한 장당 10달러 미만의 재료비로 맞춤형 형태의 얇고 부드러운 스킨을 자체 제작(in-house fabrication)할 수 있다. 이 센서는 10,000회의 하중-제거(loading-unloading) 사이클 후에도 초기 응답 범위(response span)의 97% 이상을 유지하며, 배선(trace)은 1,280회의 꽉 쥔 주먹(tight-fist) 접힘 사이클 동안 연속성을 유지한다. 공유된 택셀 배치는 공통의 촉각 인코더(tactile encoder)를 사용하여 학습된 센서 간 매핑(cross-sensor mapping) 없이도 인간-로봇 공동 학습(co-training)을 지원한다. 접촉이 많은(contact-rich) 세 가지 조작 과제에서, 촉각 관측(observation)은 비전만 사용하는 정책보다 분포 내(in-distribution) 성공률을 향상시킨다. 고정된 로봇 시연 예산 하에서, 인간 시연을 추가하면 8개의 평가 조건에 걸친 평균 성공률이 22.8%에서 45.9%로 두 배 이상 향상되며, 5개의 분포 외(out-of-distribution) 조건 모두에서 성공률이 개선된다. 우리는 이 스킨을 제작하고 운용하는 데 필요한 자료를 오픈소스로 공개할 계획이다.

arXiv:2610.02840v1cs.RO

PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.

arXiv:2605.30226v3cs.RO

BORA: 실제 환경의 정밀 조작 VLA 모델을 위한 오프라인 강화학습과 온라인 잔여 적응의 연결

BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models

비전-언어-행동(Vision-Language-Action, VLA) 정책은 정교한 조작을 위한 강력한 행동 사전 지식(behavioral prior)을 제공하지만, 높은 자유도(high-DoF)의 접촉 실패는 사람이 교정하기 어렵고 온라인 상호작용 비용이 크기 때문에 실제 로봇에 이를 적응시키는 것은 여전히 어렵습니다. 본 논문에서는 일관성 정책(consistency-policy) VLA에 행동 조건부 크리틱(action-conditioned critic)을 통합하고, 학습된 크리틱을 동결된 기반 모델의 잔여 적응(residual adaptation)에 재사용하는 오프라인-투-온라인(offline-to-online) 강화학습 시스템인 BORA를 제안합니다. 실행 가능한 교정 데이터를 얻기 위해, BORA는 웨어러블 팔-손 원격 조작과 시연 기반 로컬 정책을 결합하여 대략적인 인간의 의도를 접촉 집약적 기술에 적합한 협응된 로봇 맞춤형 손가락 동작으로 변환합니다. 전체 모델의 미세조정을 피하기 위해 온라인 로봇 롤아웃과 인간의 교정 데이터를 오프라인 데이터와 혼합하여 경량 잔여 액터(residual actor)만을 업데이트합니다. 우리는 두 가지 정밀 로봇 손 모델이 장착된 단일 암 및 양팔 플랫폼을 사용하여 6가지 실제 환경 작업에서 BORA를 평가합니다. 작업당 단 20개의 온라인 궤적만으로 BORA는 표준 객체에서 평균 성공률을 60.8%에서 82.5%로, 미학습(held-out) 객체에서 52%에서 70%로 향상시켰으며, 정책 지원은 양손 비틀기 작업에서 개입 신뢰성을 대폭 향상시켰습니다. 이러한 결과는 실행 가능한 인간의 교정으로부터 효율적인 실제 로봇 VLA 적응에 이르는 실용적인 경로를 보여줍니다.

arXiv:2605.18727v3cs.RO

DexHoldem: 텍사스 홀덤에서의 정교한 조작을 위한 에이전틱 로보틱스 벤치마크

DexHoldem: An Agentic Robotics Benchmark for Dexterous Manipulation in Texas Hold'em

실제 정밀 하드웨어를 갖춘 체화된(embodied) 시스템을 평가하기 위해서는 단순한 개별 운동 기술 테스트 이상의 것이 필요합니다. 에이전트(agent)는 변화하는 환경(예: 테이블 위)을 인지하고, 맥락에 맞는 적절한 행동을 선택하며, 정교한 로봇 손으로 이를 실행하는 동시에 이후의 결정을 위해 환경을 활용 가능한 상태로 유지해야 합니다. 본 연구에서는 ShadowHand를 사용하여 텍사스 홀덤과 관련된 정교한 조작을 평가하는 포괄적인 실세계 벤치마크인 DexHoldem을 소개합니다. DexHoldem은 14가지 텍사스 홀덤 조작 프리미티브에 걸친 1,470개의 원격 조작 시연 데이터, 표준화된 물리적 정책 벤치마크, 그리고 에이전트가 체화된 의사결정에 필요한 구조화된 게임 상태를 복원할 수 있는지 테스트하는 에이전틱 인지 벤치마크를 제공합니다. 프리미티브 실행 측면에서 $\pi_{0.5}$가 가장 높은 태스크 완료율($61.2\%$)을 달성한 반면, 장면 보존 성공률에서는 $\pi_{0.5}$와 $\pi_0$가 동률($47.5\%$)을 기록했습니다. 에이전틱 인지에서는 Opus 5.5가 엄격한 문제 수준 정확도($49.1\%$)와 평균 필드별 정확도($80.6\%$) 모두에서 근소하게 앞섰으며, 두 지표 사이의 격차는 개별적인 시각적 하위 능력과 라우팅에 직결되는 완전한 상태 복원 간의 거리감을 드러냅니다. 마지막으로, 단일 에이전트-정책 쌍을 활용하여 33회의 폐루프 핸드 수준 롤아웃으로 전체 체화 에이전트 루프를 구현한 결과, 단 $12.1\%$의 핸드만이 완료되었습니다. 재시도는 34회의 디스패치 중 12회에서 실패한 프리미티브를 복구하고, 수동 중단이 불가피했을 완료된 4개 핸드 중 3개에서 장기화된 실행 지연을 해결했습니다. 재시도나 인간 지원 요청 없이 완료된 핸드는 단 1회에 불과했습니다. 따라서 DexHoldem은 공유된 물리적 환경에서 정교한 테이블탑 실행, 에이전틱 인지, 그리고 체화된 의사결정 라우팅을 평가합니다. 프로젝트 웹사이트: https://dexholdem.github.io/Dexholdem/

arXiv:2610.00360v1cs.RO

DexPolicy: 궤적 유도 기반 정밀 조작을 위한 스케줄링된 탐험

DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation

정밀 조작(dexterous manipulation)을 위한 강화학습(RL)은 손가락과 물체 간의 접촉을 찾아낸 다음 물체를 정밀하게 제어해야 하지만, 첫 번째 목표에 기여하는 행동 노이즈(action noise)가 두 번째 목표를 방해할 수 있습니다. 강화학습이 사람의 영상으로부터 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 유도(trajectory-guided) 환경에서, 기준선(baseline) PPO 실행은 500만 스텝 후에도 초기 행동 노이즈 근처에서 종료되므로 탐험(exploration) 스케일을 명시적으로 제어할 필요성이 제기됩니다. DexPolicy는 손실(loss), 아키텍처, 보상(reward), 옵티마이저(optimizer) 설정을 고정한 채로, 탐험 스케일을 학습(training) 스텝의 명시적 함수로 만들어 넓은 탐험에서 좁은 탐험으로 점진적으로 감소(annealing)시킵니다. 본 연구에서는 세 가지 정책 최적화 설정을 다룹니다: PPO, 크리틱이 없는 GRPO 지속(continuation), 그리고 플로우 매개변수화 PPO 변형(FPO). 5개의 YCB 물체와 3개의 학습 시드에 걸쳐, 평균 결정론적 Target 성공률은 각각 49.4%에서 68.1%(FPO), 14.1%에서 45.4%(GRPO), 32.0%에서 35.7%(PPO)로 상승합니다. Inspire/RH56 손이 장착된 RealMan RM75 로봇 팔에서 물체-방법 조건당 하나의 학습된 모델(model)을 사용하여 3개의 물체에 대해 360회 시험한 결과, 평균 Target 성공률이 25.0%에서 85.0%(FPO), 10.0%에서 63.3%(GRPO), 8.3%에서 43.3%(PPO)로 향상되었습니다. PPO 구성 요소 스크리닝에서는 테스트된 옵티마이저 수축보다 노이즈 제어가 더 우세한 것으로 나타났으며, 선택된 PPO 스케줄은 세 가지 테스트 대상 물체에서 동일한 종단을 가진 선형 감쇠보다 더 높은 평균 Target 성공률을 산출합니다. 학습 리턴(return), 결정론적 Target 성공률, 실행 노이즈에 대한 허용 오차는 서로 분리되므로, 스케줄은 과제 및 정책 최적화 설정에 따라 의도된 실행 조건 하에서의 최종 과제 성공률로 평가되어야 합니다. 코드: https://github.com/AIGeeksGroup/DexPolicy. 웹사이트: https://aigeeksgroup.github.io/DexPolicy.

arXiv:2609.24660v1cs.RO

Touch2Robot: 인간 시연 루프 내의 로봇 촉각 피드백

Touch2Robot: Robot Touch in the Human Demonstration Loop

인간의 시연(demonstration)은 조작(manipulation) 데이터를 수집하는 확장 가능한 방법을 제공하지만, 이를 로봇 손으로 전이할 때 접촉(contact)이 불안정하거나 실행 불가능할 수 있습니다. 타깃 로봇에서 직접 시연을 수집하면 이러한 불일치를 피할 수 있지만, 데이터 수집 비용이 크게 증가합니다. 이러한 트레이드오프를 해결하기 위해, 본 논문에서는 인간이 타깃 로봇 손이 물체와 어떻게 접촉할지 확인하면서 시연을 수집할 수 있도록 지원하는 프레임워크인 Touch2Robot을 제안합니다. 연구진은 인간 조작 과정에서 인간의 손 움직임, 촉각 장갑(tactile-glove) 측정값, 물체 움직임을 캡처합니다. 이러한 기록은 기록된 인간의 터치와 일치하는 접촉을 선호하면서 시연된 물체 움직임을 재현하도록 물체별 강화학습(RL) 정책을 유도합니다. 이후 학습된 행동들을 유입되는 인간 관측치와 물체 기하학적 구조를 로봇 손 형상으로 매핑하는 통합 실시간 리타게터(retargeter)로 증류(distillation)합니다. 수집 중에는 예측된 로봇 형상이 시뮬레이션에서 추적된 물체 포즈와 동기화되어 로봇-물체 접촉을 재구성하며, 이를 시각화하여 시연자가 타깃 손에 맞춰 후속 상호작용을 조정할 수 있도록 돕습니다. 4개의 실제 환경 태스크 전반에서 Touch2Robot은 시각 전용 피드백 대비 실제 로봇 리플레이 완료율을 평균 37.9%에서 72.1%로 향상시키는 동시에, 리플레이 성공 시연당 수집 시간을 58.6초에서 18.2초로 단축했습니다. 재구성된 타깃 손 접촉은 실제 로봇 촉각 측정값 대비 44.2%의 F1 점수를 달성했으며, Touch2Robot 시연으로 학습된 정책은 시각 전용 피드백 대비 다운스트림 Diffusion Policy 성능을 29.1%포인트 향상시켰습니다. 이러한 결과는 로봇 촉각을 인간 시연 루프에 도입함으로써 확장 가능한 정교한 조작(dexterous manipulation) 데이터 수집의 품질과 효율성을 모두 향상시킴을 보여줍니다. 프로젝트 웹페이지: https://Touch2Robot.github.io/.

arXiv:2607.22434v1cs.RO

투사된 시각적 추상화를 통한 로봇의 의사소통 학습

Robot Learning to Communicate through Projected Visual Abstractions

인간은 그림자, 실루엣, 반사 등 자신의 신체를 추상화한 형태를 통해 일상적으로 의사소통한다. 그러나 로봇은 여전히 대체로 자신의 물리적 형태(morphology)를 통해서만 자신을 표현하는 데 제한되어 있다. 로봇이 이러한 투사된 시각적 추상화를 통해 의사소통하도록 하려면, 신체 움직임뿐 아니라 그 움직임이 관찰자가 인지하는 외부 표현으로 어떻게 변환되는지에 대한 추론도 필요하다. 이러한 추상화 가운데 그림자는 로봇의 체화(embodiment)에서 직접 생성되면서도 신체 자체와 시각적으로 구별된다는 점에서 특히 설득력 있는 사례를 제공한다. 본 연구에서는 순응성 소프트 스킨을 갖춘 21자유도(degree-of-freedom) 다관절 손과 학습된 그림자 자기-모델(self-model)을 이용해 동적 그림자 표현이 가능한 로봇 시스템을 제안한다. 소프트 스킨 체화는 빛 누출을 줄여 시각적으로 연속적인 실루엣을 만들며, 미분 가능한 자기-모델은 과제와 무관한(self-agnostic) 자기 탐험을 통해 손 구성(configuration)과 투사된 그림자 외관 사이의 매핑을 학습한다. 목표 그림자 이미지 또는 동영상이 주어지면, 로봇은 학습된 자기-모델에 대한 그래디언트 기반 탐색을 통해 손 구성을 최적화하고, 충돌 인식 시뮬레이션을 통해 해를 정제하여 물리적으로 실행 가능한 움직임을 얻는다. 동적 그림자 수행을 위해, 시각적으로 중요한 움직임 단서를 보존하면서 최적화 복잡도를 줄이기 위해 표현 영역 목표, 시간적 부드러움 정규화, 키프레임 기반 최적화를 추가로 도입한다. 시뮬레이션과 실물 실험 모두에서 수어 제스처, 손그림자 인형극, 동물 움직임 모방에 걸쳐 로봇 그림자 표현을 시연한다. 이 결과는 로봇이 의사소통과 시각적 스토리텔링을 위해 자신의 투사된 시각적 추상화를 조작할 수 있게 하는 프레임워크를 확립한다.

arXiv:2607.06438v1cs.RO

WristMimic: 손목 기반 조작을 통한 전신 휴머노이드 제어

WristMimic: Full-Body Humanoid Control with Wrist-Guided Manipulation

WristMimic은 인간-물체 상호작용 데모를 물리 기반 시뮬레이션에 리타겟팅할 때, 접촉이 없는 신체·손목은 기구학적 포즈 타겟으로 제어하고 손가락은 물체 추적 및 접촉 결과로부터 파지 동작을 학습하도록 분리한 전신 제어 프레임워크다. 손목을 두 제어 체계의 자연스러운 관문으로 활용하고 손목 특화 리셋 제약과 보상 우선순위화를 도입하여, 손가락 포즈 감독 없이도 전체 손가락 포즈 지도 방법과 동등하거나 그 이상의 성능을 달성하고 다양한 손 구현체에 걸쳐 손가락 무관 리타겟팅을 가능하게 한다.

arXiv:2606.28323v1cs.RO

DexCompose: 단일 손으로 다중 과제 조작을 위한 정교한 조작 정책 재사용

DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand

정교한 조작 정책은 개별 기술을 해결할 수 있지만, 단일 손으로 여러 과제를 수행하기 위해 이를 구성하는 것은 여전히 어렵다. 기존 조작 기술 위에 새 과제를 추가하면 겹치는 손가락과 접촉 모드(contact mode)에 상충하는 요구가 자주 생겨, 기존 조작 결과를 유지하는 것과 새 결과를 실행하는 것 사이에 파괴적 간섭(destructive interference)이 발생한다. 우리는 DexCompose를 제안한다. 이는 명시적 손가락 수준 행동 소유(action ownership)를 통해 사전학습(pre-trained)된 정교한 조작 정책을 다중 과제 조작에 재사용하는 역할 인식(role-aware) 잔차(residual) 구성(composition) 프레임워크이다. 두 개의 사전학습된 전체 손(full-hand) 정책이 주어지면, DexCompose는 먼저 첫 번째 기술에서 성공적인 과제 후(post-task) 상태를 수집하고, 후보 손가락 마스크(finger mask)에 대해 해제(release) 테스트를 수행하여 확립된 기술 상태를 유지하는 데 필요한 손가락을 식별한다. 그다음 두 개의 비대칭 잔차 모듈을 학습한다: 과제 보존을 위한 경계가 있는(bounded) 잔차 안정화기(stabilizer), 그리고 동결(frozen)된 하류(downstream) 정책을 새 과제에 할당된 행동 부분공간(action subspace) 내에서만 적응시키는 컨텍스트 인식(context-aware) 잔차. 프레임워크를 4개의 물체 유지(object-retention) 기술과 4개의 하류 상호작용을 아우르는 16개의 복합 정교한 조작 과제에서 평가한다. DexCompose는 평균 77.4%의 복합 성공률을 달성하며, 이중 잔차(dual residual)를 갖춘 구조적 행동 소유가 기존 정책 연결(policy chaining)을 넘어 정교한 기술을 구성하는 유망한 방향을 제시함을 보여준다.

arXiv:2505.05517v3cs.CV

Web2Grasp: 손-물체 상호작용 웹 이미지로부터 기능적 파지 학습

Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions

기능적 파지(functional grasping)는 다지 로봇 손이 물체를 효과적으로 조작할 수 있게 하는 데 필수적이다. 기존 연구는 대부분 물체를 단순히 잡는 것에 그치는 파워 그랙스(power grasp)에 집중하거나, 특정 물체에 대한 도메인 내(in-domain) 시연에 의존한다. 우리는 자연스럽고 기능적인 손-물체 상호작용(HOI)을 담은 웹 이미지에서 추출한 인간의 파지 정보를 활용하는 방법을 제안한다. 사전학습(pre-training)된 3D 재구성 모델을 사용하여 RGB 이미지로부터 3D 인간 HOI 메시(mesh)를 복원한다. 이러한 노이즈가 있는 HOI 데이터로 학습하기 위해, 우리는 (1) 손과 물체 사이의 기능적 상호작용 패턴을 학습하는 상호작용 중심(interaction-centric) 모델과 (2) 실행 불가능한 파지를 제거하는 기하학 기반 필터링, 그리고 외란(disturbance)에 견딜 수 있는 파지를 유지하기 위한 물리 시뮬레이션을 사용하는 방법을 제안한다. IssacGym 시뮬레이션에서, 재구성된 HOI 파지로 학습한 우리 모델은 웹 데이터셋의 물체에 대해 75.8%의 성공률을 달성하고, 보지 못한(unseen) 물체에도 일반화하며, 파지 성공률과 기능적 품질 모두에서 기준선 방법들을 능가한다. LEAP hand와 Inspire hand를 사용한 실세계 실험에서, 주사기, 스프레이 병, 칼, 집게(tongs) 같은 어려운 물체를 포함한 12개 물체 전반에 걸쳐 77.5%의 성공률을 달성한다. 프로젝트 웹사이트: https://web2grasp.github.io/.

arXiv:2606.26428v1cs.RO

Play2Perfect: 정밀 조립을 위한 능숙한 놀이 사전학습에서 무엇이 중요한가?

Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?

다손가락 로봇의 정밀 조립은 접촉이 빈번하고 보상이 희소해 어렵지만, Play2Perfect는 다양한 객체와 목표에 대한 놀이 기반 과제 무관 사전학습 RL 후 정밀 조립으로 파인튜닝하여 잡기·손 내 재배향·자세 도달 선험을 습득한다. 처음부터 RL보다 33배 샘플 효율적이며, 제로샷 sim-to-real로 0.5mm 여유 밀착 삽입 60% 및 장기 다부품 조립·나사 체결 50% 이상 성공률을 달성한다.

arXiv:2606.27325v1cs.CV

모든 행동이 동등하지 않다: 손기술 월드 모델의 조건화 재고

Not All Actions Are Equal: Rethinking Conditioning for Dexterous World Model

고자유도(high-DoF) 손기술 제어에서는 전체 행동 시퀀스를 단일 표현으로 압축할 때 손목·카메라 같은 대규모 움직임이 미세한 손가락 신호를 압도해 월드 모델의 행동 추종이 약해진다. DexAC-WM은 행동 토큰화(action tokenization)와 국소-전역 조건화, 의미 분기(semantic branch)로 차원별 의미를 보존하며, EgoDex·EgoVerse에서 FID·FVD·PCK가 유의미하게 개선됨을 보였다.

arXiv:2512.00324v4cs.RO

MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation

Dexterous robotic hands are expected to perform complex, contact-rich object manipulation, but learning such skills remains challenging because high-dimensional hands require high-fidelity demonstrations. Imitation learning provides a practical route for acquiring dexterous manipulation skills from human demonstrations, yet collecting synchronized multimodal demonstrations with accurate hand actions and tactile observations remains a key bottleneck. We present MILE, a teleoperation-based data-collection system comprising the human-first MILE exoskeleton and the mechanically corresponding MILE-Tac robotic hand. The system integrates custom-designed and fabricated modular joint encoders and compact MILE fingertip visuotactile sensor modules. The exoskeleton is informed by human-hand anatomy and ergonomic constraints, while the robotic hand is co-designed to preserve the selected four-finger kinematic topology. This correspondence enables joint-space command transfer and reduces reliance on task-space IK-based retargeting. The system synchronously records task-specific visual observations, four fingertip visuotactile streams, robot-hand proprioception, and exoskeleton-derived action commands. We evaluate MILE through a four-task teleoperation benchmark against representative glove-based and vision-based interfaces, and through imitation-learning experiments that compare policies trained with and without fingertip tactile input. The project page is available at https://sites.google.com/view/mile-system.

arXiv:2606.19333v1cs.RO

Do as I Do: 일상적인 인간 비디오에서의 교묘한 조작 데이터

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

우리는 로봇 조작(robotic manipulation), 특히 교묘한 다중 손가락 손(dexterous multi-fingered hands)과 같은 인간과 유사한 플랫폼을 위한 데이터를 어떻게 확장 가능하게 생성할 수 있을까요? 인간 비디오로부터의 학습(learning from human videos)이 최근 이 질문에 대한 유력한 해답으로 떠오르고 있습니다. 그러나 손-물체 상호작용(hand-object interaction) 추정의 어려움과 인간-로봇 구현 격차(human-to-robot embodiment gap)를 해소하는 문제로 인해, 풍부한 단안 RGB(monocular RGB) 전용 인간 비디오가 로봇 조작 데이터의 주요 원천으로 채택되는 데 제약이 있었습니다. 본 연구에서는 단안 RGB 인간 비디오를 다중 손가락 교묘한 로봇 손으로 재구성하고 리타겟팅(retargeting)하는 알고리즘인 DO AS I DO를 제시합니다. DO AS I DO는 다양한 1인칭(egocentric) 및 3인칭(exocentric) 자연 환경(in-the-wild) 비디오 소스에서 손-물체 상호작용을 재구성합니다. 이 알고리즘은 이러한 손-물체 상호작용 추정 결과를 실제 환경에서 실행 가능한 행동(action) 시퀀스로 리타겟팅하여, 서로 다른 인간 비디오로부터 로봇 실행이 가능한 완전한 조작 데이터를 생성합니다. 전반적으로, DO AS I DO는 정답(ground truth)이 포함된 데이터셋과 온라인에서 수집된 비디오 클립 데이터셋에 대한 실험을 통해, 손-물체 상호작용 추정 및 RGB 비디오에서 교묘한 조작 궤적 추출 측면에서 기존 최첨단(SOTA) 방법론보다 우수한 성능을 보임을 입증했습니다. 본 연구의 실험 결과를 바탕으로, 우리는 조작 작업을 위한 인간 데이터를 수집하는 실무자들을 위한 효과적인 지침서(efficacy playbook)를 제안합니다.

arXiv:2606.18092v1cs.RO

EAGG: 기하학 인식 그래프 조건화를 통한 구현 정렬 파지 생성

EAGG: Embodiment-Aligned Grasp Generation via Geometry-Aware Graph Conditioning

엔드 이펙터 간 파지 생성은 평행 그리퍼부터 정교한 엔드 이펙터에 이르기까지 다양한 구현 및 객체에 걸쳐 일반화되는 통합 모델을 목표로 합니다. 기존 파지 생성기는 일반적으로 고정된 구현을 위해 설계되거나 정적 디스크립터를 사용하여 구현 정체성을 인코딩하며, 이는 위상(topology), 구동 결합(actuation coupling), 접촉 기하학이 크게 다를 경우 전이 성능을 저하시킵니다. 본 논문에서는 각 구현을 위상 인식 엔드 이펙터 그래프와 구현 고유의 저차원 엔드 이펙터 제어 공간으로 표현하는 구현 정렬 파지 생성기인 EAGG를 제안합니다. 동결된 엔드 이펙터 인지 백본은 현재 관절형 상태를 재사용 가능한 형태학적 사전(morphology prior) 역할을 하는 기하학 인식 토큰으로 변환하며, 반복적인 기하학 주입을 통해 샘플링 과정 전반에 걸쳐 이 토큰을 갱신하여 조건화가 변화하는 엔드 이펙터 기하학과 동기화된 상태를 유지합니다. MultiGripperGrasp 벤치마크에서 EAGG는 6개의 학습용 엔드 이펙터에 걸쳐 56.17%의 평균 성공률을 달성했으며, 파인튜닝 및 제로샷 엔드 이펙터로의 전이를 유지하면서 전문화된 학습 결과와 1.10%p 이내의 차이를 보였습니다. 또한 반복적인 기하학 주입을 통해 풀링된 중앙값 접촉 거리를 0.239cm에서 0.189cm로 추가로 감소시켰습니다. 이러한 결과는 엔드 이펙터 간 파지 생성이 구현 간의 차이를 억제하는 것보다 공유 생성기 내부에서 구현 구조를 정렬함으로써 강화됨을 보여줍니다. 코드는 https://github.com/wanhaoniu/EAGG에서 확인할 수 있습니다.