SimToolReal: 제로샷 정밀 도구 조작을 위한 객체 중심 정책
SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation
한국어 초록
도구를 조작하는 능력은 로봇이 수행할 수 있는 작업의 범위를 크게 확장합니다. 하지만 도구 조작은 얇은 물체 파지, 손 안에서의 물체 회전, 강한 힘의 상호작용을 요구하므로 정밀한 손동작(dexterity) 중에서도 까다로운 범주에 속합니다. 이러한 동작에 대한 원격 조작 데이터를 수집하는 것은 어렵기 때문에, 시뮬레이션-현실 간(sim-to-real) 강화학습(RL)이 유망한 대안으로 꼽힙니다. 그러나 기존 접근 방식들은 일반적으로 각 작업마다 물체를 모델링하고 보상 함수를 튜닝하는 데 상당한 엔지니어링 노력을 필요로 합니다. 본 연구에서는 도구 조작을 위한 sim-to-real 강화학습 정책 일반화를 향한 진전으로서 SimToolReal을 제안합니다. 단일 물체와 단일 작업에 집중하는 대신, 시뮬레이션 환경에서 절차적 생성 방식으로 매우 다양한 도구 형태의 기초 물체(object primitives)를 생성하고, 각 물체를 무작위 목표 자세로 조작한다는 범용적인 목표 아래 단일 강화학습 정책을 학습시킵니다. 이러한 접근법을 통해 SimToolReal은 특정 물체나 작업에 특화된 별도의 학습 없이도 테스트 시점에 일반적인 정밀 도구 조작을 수행할 수 있습니다. 실험 결과, SimToolReal은 기존의 리타기팅 및 고정 파지 방식 대비 37% 향상된 성능을 보였으며, 특정 목표 물체와 작업에 대해 학습된 전문가 강화학습 정책과 대등한 성능을 달성함을 입증했습니다. 마지막으로 SimToolReal이 다양한 일상 도구 전반에 걸쳐 일반화됨을 보여주며, 24개 작업, 12개 물체 인스턴스, 6개 도구 범주에 걸친 120회의 실제 환경 롤아웃에서 강력한 제로샷(zero-shot) 성능을 달성함을 확인했습니다.
원문 초록
The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
Solver-Aware Decompositions for Programming-by-Example: When Dividing Requires Knowing How to Conquer
mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습
mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction
밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.
탐험적, 소통형, 그리고 배포 가능한: 오픈 월드 모바일 매니퓰레이션을 위한 비전 주도 체화 에이전트
Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation
체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
23 pages, 16 figures, 3 tables. Project page: https://simtoolreal.github.io/