PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00033v3cs.RO

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.

arXiv:2606.11901v2cs.RO

DuoBench: 시뮬레이션과 실제 환경에서의 양팔 조작을 위한 재현 가능한 벤치마크

DuoBench: A Reproducible Benchmark for Bimanual Manipulation in Simulation and the Real World

Bimanual robot systems substantially expand manipulation capabilities, but coordinating two arms introduces additional control complexity and failure modes that are not well captured by existing benchmarks. We introduce DuoBench, an extensible benchmarking framework for bimanual manipulation policies on the FR3 Duo platform. DuoBench comprises eleven tasks spanning four coordination categories, implemented in simulation and partially replicated in the real world through reproducible task recipes with 3D-printable assets. In addition, we propose a stage-based evaluation scheme that supports fine-grained semantic failure analysis beyond binary success. It includes stage-conditional pass rates with confidence intervals as well as human-teleoperated datasets for all benchmark tasks. We benchmark several imitation-learning and vision-language-action policies in simulation and on real hardware. Our results show that current policies remain challenged by bimanual manipulation, particularly at the beginning of interaction, during parallel arm execution, and in sim-to-real transfer settings. We further find that simulation reveals the same failure modes as real-world experiments. DuoBench provides a reproducible testbed for analyzing them and studying future methods for dual-arm policy learning. Code, datasets, and videos are available at https://duobench.github.io

arXiv:2607.19479v2cs.RO

ModPack: 양팔 모바일 조작을 위한 확장 가능한 원격 조작 인터페이스

ModPack: Extensible Teleoperation Interface for Bimanual Mobile Manipulation

기존의 원격 조작(teleoperation) 시스템은 특정 로봇 하드웨어 및 작업 도메인에 맞춰 제작되는 경우가 많아 확장성과 적응성이 제한됩니다. 본 논문에서는 통일된 프레임워크 내에서 다양한 로봇 임바디먼트(embodiment)와 작업 요구사항을 지원하도록 설계된 모듈식 및 확장형 원격 조작 시스템인 ModPack을 제시합니다. ModPack의 핵심은 온보드 연산, 전원, 통신 및 데이터 저장을 통합한 독립형 웨어러블 "백팩(backpack)"입니다. 이러한 공유 인터페이스를 기반으로 구축된 이 시스템은 햅틱 피드백을 포함한 관절 수준 원격 조작, 모바일 조작(mobile manipulation), 능동적 지각(active perception)을 포함한 플러그 앤 플레이 방식의 기능 모듈들을 지원합니다. 서로 다른 두 로봇 플랫폼과 실제 환경의 모바일 조작 작업에 대한 실험을 통해, ModPack이 데이터 수집 및 정책 학습(policy learning)을 위한 유연하고 재사용 가능한 프레임워크를 제공하며 로봇 프리(robot-free) 대안보다 더 높은 품질의 데이터를 수집함을 입증합니다. 향후 연구를 지원하기 위해 전체 하드웨어 설계와 소프트웨어 스택을 오픈소스로 공개합니다. 프로젝트 웹사이트: https://modpack-robotics.github.io/

arXiv:2610.03710v1cs.RO

EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).

arXiv:2607.22119v1cs.RO

한 손이 다른 손을 주시한다: 동적 환경에서 샘플 효율적 양손 조작을 위한 동적 다중 에이전트 협력

One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments

다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.

arXiv:2607.01212v1cs.RO

FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

VLAs(Vision-Language-Action 모델)를 활용한 실물 크기 양팔 가구 조립 문제를 다루며, 최대 7개 서브태스크와 1550개 제어 스텝에 달하는 장기 수평(long-horizon) 실행을 위해 액션과 연속적 진행도 신호를 동시에 예측하는 progress-enhanced VLA를 제안한다. 시뮬레이션에서 베이스라인 대비 평균 성공률을 48%에서 80%로 향상시켰으며, 실제 Kinova Gen3 플랫폼에서도 가장 어려운 태스크 기준 16% 하락에 그쳐 실세계 유효성을 검증하였다.

arXiv:2606.28133v1cs.RO

브릿징 액션으로서의 변환: 인간에서 로봇으로 조작 기술 전이

Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

인간 동작으로부터 평행 그리퍼(parallel gripper)를 갖춘 양손(bi-manual) 로봇에 새로운 조작 기술을 학습할 수 있는지 연구한다. 인간 동작 데이터는 값싸고 풍부하며 다양하여, 로봇 학습(robot learning) 확장(scaling)을 위한 가장 유망한 자원 중 하나이다. 그러나 인간으로부터 로봇으로 기술을 전이하는 것은 여전히 어렵다. 대부분의 선행 연구는 인간을 또 하나의 양손 6DoF embodiment로 취급하는데, 여기서 손 자세(hand-pose) 추정치는 노이즈가 많고 인간 손가락의 접촉 패턴(contact pattern)은 평행 그리퍼의 것과 근본적으로 다르다. 따라서 인간 데이터로부터 회전을 포함한(rotation-inclusive) 동작 신호를 학습하는 것은 차선책이라고 주장하며, 대신 브릿징 액션(bridging action) 표현을 제안한다. 이는 초기 헤드 카메라(head-camera) 좌표계에서의 상대적 손목(wrist) 이동(translation)으로, 인간과 로봇이 공유하는 동작 공간(action space)이다. 서로 다른 embodiment에서 특정 동작 구성 요소가 없을 수 있는 문제를 다루기 위해, 교차 배치된(interleaved) 동작 토큰(action token)과 어텐션 마스킹을 갖춘 $π_0$ 유사 비전-언어-동작(vision-language-action) 모델을 구축한다. 새로운 양손 조작 과제 모음에서, 우리의 브릿징 액션은 노이즈가 많은 6DoF 인간 동작보다 인간의 조작 지식을 로봇에 훨씬 더 효과적으로 전이하며, 인간 데이터 양에 따라 확장된다.