arXiv:2607.19479v2 cs.RO

ModPack: 양팔 모바일 조작을 위한 확장 가능한 원격 조작 인터페이스

ModPack: Extensible Teleoperation Interface for Bimanual Mobile Manipulation

Joshua Citron, Renee Zbizika, Zeyi Liu, Shuran Song

제출 2026-07-21

한국어 초록

기존의 원격 조작(teleoperation) 시스템은 특정 로봇 하드웨어 및 작업 도메인에 맞춰 제작되는 경우가 많아 확장성과 적응성이 제한됩니다. 본 논문에서는 통일된 프레임워크 내에서 다양한 로봇 임바디먼트(embodiment)와 작업 요구사항을 지원하도록 설계된 모듈식 및 확장형 원격 조작 시스템인 ModPack을 제시합니다. ModPack의 핵심은 온보드 연산, 전원, 통신 및 데이터 저장을 통합한 독립형 웨어러블 "백팩(backpack)"입니다. 이러한 공유 인터페이스를 기반으로 구축된 이 시스템은 햅틱 피드백을 포함한 관절 수준 원격 조작, 모바일 조작(mobile manipulation), 능동적 지각(active perception)을 포함한 플러그 앤 플레이 방식의 기능 모듈들을 지원합니다. 서로 다른 두 로봇 플랫폼과 실제 환경의 모바일 조작 작업에 대한 실험을 통해, ModPack이 데이터 수집 및 정책 학습(policy learning)을 위한 유연하고 재사용 가능한 프레임워크를 제공하며 로봇 프리(robot-free) 대안보다 더 높은 품질의 데이터를 수집함을 입증합니다. 향후 연구를 지원하기 위해 전체 하드웨어 설계와 소프트웨어 스택을 오픈소스로 공개합니다. 프로젝트 웹사이트: https://modpack-robotics.github.io/

원문 초록

Existing teleoperation systems are often tailored to specific robot hardware and task domains, limiting their scalability and adaptability. We present ModPack, a modular and extensible teleoperation system designed to support diverse robot embodiments and task requirements within a unified framework. At the core of ModPack is a self-contained wearable "backpack" that integrates onboard computation, power, communication, and data storage. Built on top of this shared interface, the system supports plug-and-play capability modules including joint-level teleoperation with haptic feedback, mobile manipulation, and active perception. Experiments across two distinct robot platforms and real-world mobile manipulation tasks demonstrate that ModPack provides a flexible and reusable framework for data collection and policy learning and collects higher quality data than a robot-free alternative. To support future research, we open-source the complete hardware design and software stack. Project website: https://modpack-robotics.github.io/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.19479v2
  2. arXiv:2607.19479v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23997v2cs.RO공통 태그 Imitation Learning, mobile manipulation

RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기

RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations

다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.

arXiv:2610.03710v1cs.RO공통 태그 Imitation Learning, bimanual manipulation

EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).

arXiv:2610.02089v1cs.RO공통 태그 Imitation Learning, mobile manipulation

HumanoidToolBench: 선택부터 이동 실행까지 휴머노이드 도구 사용 벤치마킹

HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution

로봇 하드웨어와 학습 방법이 발전함에 따라, 휴머노이드가 고유한 물리적 한계를 뛰어넘는 작업을 수행하기 위해서는 도구가 필요합니다. 성공적인 도구 사용을 위해서는 적절한 도구를 선택하고 조작(manipulation)과 필요 시 보행(locomotion)을 조율하여 작업을 완료해야 합니다. 기존 벤치마크는 휴머노이드에서 이러한 능력들을 종합적으로 평가하지 못합니다. 본 논문에서는 3가지 시나리오, 3가지 실행 수준, 2가지 도구 세트 모드를 아우르는 18개 작업 벤치마크인 HumanoidToolBench와 함께, 시뮬레이션 및 실제 Unitree G1 로봇에서 수집된 3,100개의 시연(demonstration) 데이터셋인 ToolBook을 소개합니다. 시뮬레이션에서 7개 정책, 실제 로봇에서 3개 정책을 평가한 결과 적절한 도구를 선택하는 것과 작업을 완수하는 것 사이에 상당한 격차가 있음을 확인했습니다. GR00T N1.7에 대한 심층 분석 결과, 보지 못한(unseen) 도구에 대한 선택 정확도가 감소하고 무관한 지시문이 주어져도 작업을 계속 실행하는 문제가 나타났습니다. 코드와 데이터는 https://snu-pi.github.io/HumanoidToolBench/ 에서 확인할 수 있습니다.

arXiv:2607.22119v1cs.RO공통 태그 Imitation Learning, bimanual manipulation

한 손이 다른 손을 주시한다: 동적 환경에서 샘플 효율적 양손 조작을 위한 동적 다중 에이전트 협력

One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments

다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.

arXiv:2607.15330v2cs.RO공통 태그 Imitation Learning, mobile manipulation

Xiaomi-Robotics-1: 10만 시간 이상의 실세계 궤적으로 비전-언어-액션 모델 스케일링

Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories

우리는 Xiaomi-Robotics-1을 제시한다. 이는 (1) 다양한 언어 지시를 따라 보지 못한 환경에서 즉시(out-of-the-box) 광범위한 이동 조작(mobile manipulation) 작업을 수행할 수 있고, (2) 최소한의 미세조정 데이터로 새로운 하류(downstream) 작업에 효율적으로 적응할 수 있는 기초 비전-언어-액션(VLA) 모델이다. 우리는 사전학습과 사후 학습으로 구성된 2단계 학습 레시피를 제안한다. 사전학습 동안 UMI 장치를 통해 수집된 10만 시간 이상의 실세계 조작 궤적으로 학습하여 모델에 폭넓고 일반화 가능한 액션 생성 능력을 부여한다. 핵심적으로, 장면 상태 전환을 설명하는 자연어로 궤적 클립에 주석을 달아 액션 학습을 위한 풍부하고 정확한 조건화(conditioning)를 제공하는 확장 가능한 자동 라벨링 파이프라인을 개발했다. 사후 학습 동안에는 이러한 능력을 로봇 embodiment 및 인간이 로봇에 프롬프트할 때 자연스럽게 사용하는 명령형 지시와 정렬(alignment)하는 것을 목표로 한다. 광범위한 실험은 강한 스케일링(scaling) 특성을 보여준다. Xiaomi-Robotics-1은 사전학습 동안 데이터 규모와 모델 크기가 증가함에 따라 일관되게 개선된다. 이러한 스케일링 특성은 사후 학습으로 직접 전이되며, 더 강력한 사전학습 모델이 보지 못한 환경에서 더 나은 즉시(out-of-the-box) 실로봇 성능을 제공한다. 또한 Xiaomi-Robotics-1은 복잡하고 정교한(dexterous) 작업에 높은 데이터 효율로 효율적으로 미세조정할 수 있는 강력한 로봇 기초 정책(foundation policy) 역할을 한다. 여러 시뮬레이션 벤치마크에서 Xiaomi-Robotics-1은 최신(state-of-the-art) 방법들을 능가한다. 특히 RoboCasa365에서 57.4%의 성공률로 새로운 최고 성능(state-of-the-art)을 수립하여 이전 최고 기록 46.6%를 넘어선다. 또한 RoboDojo에서 평균 20.07점을 달성하여 이전 최고 성능(13.07)을 크게 능가한다. 코드와 모델 체크포인트가 공개될 예정이다. 프로젝트 페이지: https://robotics.xiaomi.com/xiaomi-robotics-1.html

토론

이 논문과 연결된 포럼 글이 아직 없습니다.