기존의 원격 조작(teleoperation) 시스템은 특정 로봇 하드웨어 및 작업 도메인에 맞춰 제작되는 경우가 많아 확장성과 적응성이 제한됩니다. 본 논문에서는 통일된 프레임워크 내에서 다양한 로봇 임바디먼트(embodiment)와 작업 요구사항을 지원하도록 설계된 모듈식 및 확장형 원격 조작 시스템인 ModPack을 제시합니다. ModPack의 핵심은 온보드 연산, 전원, 통신 및 데이터 저장을 통합한 독립형 웨어러블 "백팩(backpack)"입니다. 이러한 공유 인터페이스를 기반으로 구축된 이 시스템은 햅틱 피드백을 포함한 관절 수준 원격 조작, 모바일 조작(mobile manipulation), 능동적 지각(active perception)을 포함한 플러그 앤 플레이 방식의 기능 모듈들을 지원합니다. 서로 다른 두 로봇 플랫폼과 실제 환경의 모바일 조작 작업에 대한 실험을 통해, ModPack이 데이터 수집 및 정책 학습(policy learning)을 위한 유연하고 재사용 가능한 프레임워크를 제공하며 로봇 프리(robot-free) 대안보다 더 높은 품질의 데이터를 수집함을 입증합니다. 향후 연구를 지원하기 위해 전체 하드웨어 설계와 소프트웨어 스택을 오픈소스로 공개합니다. 프로젝트 웹사이트: https://modpack-robotics.github.io/
기반 모델(foundation model)은 로봇에 복잡한 의사결정을 위한 정교한 두뇌를 제공했지만, 그 지능을 물리 플랫폼에 배포하는 것은 여전히 번거롭고 전문가 주도의 보정(calibration)을 요구한다. 이 배포 간극, 즉 로봇의 척수(spinal cord)는 확장 가능한 체화 AI(Embodied AI)의 주요 병목으로 남아 있다. 따라서 우리는 SPINE(Scalable Physical Integration with ageNtic Expertise)을 제안한다: 최소한의 로봇공학 전문 지식으로 양팔(bimanual) 로봇을 체계적으로 디버깅하고 배포하기 위한 에이전트 프레임워크이다. SPINE의 하네스(harness)는 두 가지 오케스트레이션된 멀티에이전트 워크플로로 구성된다: 로봇별 컨텍스트를 생성하는 프로필 빌더(profile builder), 그리고 원격 조작(teleoperation)이 작동할 때까지 진단, 수리, 검증(validation)을 반복하는 디버거이다. 7가지 DOBOT X-Trainer 디버깅 시나리오에서 SPINE을 사용한 로봇공학 초보자는 동일한 참고 자료를 사용하되 SPINE의 구조화된 워크플로 없이 Claude Code를 사용한 숙련 운영자보다 더 나은 성과를 보였으며, 운용화(operationalization) 성공률을 75%에서 100%로 높이고 원격 조작까지의 평균 시간을 16분 45초에서 13분 47초로 단축했다. 서로 다른 ROS/CAN 양팔 로봇인 AgileX PiPER에서 SPINE은 심어 둔 10개의 버그를 모두 해결했으며, 전문가 기준선(baseline)은 거의 같은 시간에 10개 중 9개만 해결했다. 종합하면, 이러한 결과는 SPINE이 양팔 플랫폼 간 전이가 가능하고, 전문가 보정에 대한 의존을 줄이며, 체화 AI를 확장 가능한 실세계 배포에 더 가깝게 이끌 수 있음을 보여준다.
We introduce CRAFT hand, a tendon-driven anthropomorphic hand with hybrid hard-soft compliance for contact-rich manipulation. The design is based on a simple idea: contact is not uniform across the hand. Impacts concentrate at joints, while links carry most of the load. CRAFT places soft material at joints and keeps links rigid, and uses rollingcontact joint surfaces to keep flexion on repeatable motion paths. Fifteen motors mounted on the fingers drive the hand through tendons, keeping the form factor compact and the fingers light. In structural tests, CRAFT improves strength and endurance while maintaining comparable repeatability. In teleoperation, CRAFT improves handling of fragile and low-friction items, and the hand covers 33/33 grasps in the Feix taxonomy. The full design costs under $600 and will be released open-source with visionbased teleoperation and simulation integration. Project page: http://craft-hand.github.io/
Dexterous robotic hands are expected to perform complex, contact-rich object manipulation, but learning such skills remains challenging because high-dimensional hands require high-fidelity demonstrations. Imitation learning provides a practical route for acquiring dexterous manipulation skills from human demonstrations, yet collecting synchronized multimodal demonstrations with accurate hand actions and tactile observations remains a key bottleneck. We present MILE, a teleoperation-based data-collection system comprising the human-first MILE exoskeleton and the mechanically corresponding MILE-Tac robotic hand. The system integrates custom-designed and fabricated modular joint encoders and compact MILE fingertip visuotactile sensor modules. The exoskeleton is informed by human-hand anatomy and ergonomic constraints, while the robotic hand is co-designed to preserve the selected four-finger kinematic topology. This correspondence enables joint-space command transfer and reduces reliance on task-space IK-based retargeting. The system synchronously records task-specific visual observations, four fingertip visuotactile streams, robot-hand proprioception, and exoskeleton-derived action commands. We evaluate MILE through a four-task teleoperation benchmark against representative glove-based and vision-based interfaces, and through imitation-learning experiments that compare policies trained with and without fingertip tactile input. The project page is available at https://sites.google.com/view/mile-system.
마커 없는 단일 RGB-D 카메라 모션 캡처는 로봇 원격 조작(teleoperation)을 위해 기존 마커 기반 시스템에 대한 저렴하고 비침습적인 대안을 제공합니다. 그러나 깊이 추정(depth estimation)은 자기 가려짐(self-occlusion)이 발생할 때, 특히 상지 운동 중에 자주 저하됩니다. 본 논문은 일정한 팔 길이를 기반으로 하는 기하학적 제약 조건을 강제하여 깊이 추정을 개선하는 팔 운동학 보정(AKC) 방법을 제시합니다. 제안된 접근 방식은 피타고라스 정리를 기반으로 하는 결정론적 공식을 통해 손목 위치와 미리 정의된 팔 길이를 활용하여 가려진 관절 깊이를 재구성하며, 이를 통해 복잡한 확률적 모델링이나 매개변수 튜닝의 필요성을 피합니다. Vicon 기준 시스템에 대한 실험적 검증(validation)은 제곱 평균 제곱근 오차(RMSE)와 피어슨 상관계수를 사용하여 평가한 결과, 정적 및 동적 관절 운동 모두에 대해 신뢰할 수 있는 성능을 보여주었습니다. 또한, 시뮬레이션 및 실제 로봇 환경 모두에서 모션 매핑 원격 조작(teleoperation)이 성공적으로 시연되었습니다. 결과는 AKC가 덜 신뢰할 수 있는 시간적 필터와 함께 사용되는 경우에도 장기간의 심각한 자기 가려짐(self-occlusion) 상황에서 견고성을 향상시키고 해부학적 일관성을 유지함을 보여주며, 이는 로봇 원격 조작(teleoperation) 및 인간-로봇 상호작용(HRI)과 같은 실시간 응용 분야에서의 실용성을 강조합니다.
접촉이 많은 조작 작업에는 힘 감지 능력이 필요하지만, 높은 비용으로 인해 전용 힘 센서가 없는 로봇 팔이 많다. 본 논문에서는 전용 힘 센서 없이 외부 관절 토크를 추정하는 데이터 기반 방법인 Neural External Torque Estimation(NEXT)을 제안한다. NEXT는 10분간의 자유 동작 데이터만으로 1분 만에 학습되며, 전용 관절 토크 센서에 필적하는 추정 성능을 달성한다. NEXT는 저비용 로봇 팔에서 힘 피드백 원격조작을 가능하게 하며, 행동 복제(behavior cloning) 시 접촉 전 구간과 접촉 구간을 오버샘플링하는 Force-Informed Re-Sampling Training(FIRST)을 통해 정책 학습을 개선한다. 다섯 가지 장기 과제에 걸쳐 FIRST는 기존 힘 인식 정책 대비 작업 진행률에서 17% 이상 우수한 성능을 보인다. NEXT와 FIRST를 결합함으로써 추가적인 센싱 하드웨어 없이 기성 로봇에 힘 인식 원격조작 및 정책 학습을 적용할 수 있다. 영상 결과 및 코드는 https://jasonjzliu.com/factr2 에서 확인할 수 있다.