arXiv:2607.05869v1 cs.RO

GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation

Paul Koch. Adem Karakurt, André Sers

제출 2026-07-07

한국어 초록

새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.

원문 초록

Robust robotic grasping of novel objects requires datasets that simultaneously provide photorealistic RGB-D observations, physically validated grasp quality annotations, and a principled bridge between simulation and the real world, which existing datasets lack to provide jointly. \textbf{GraspIT} addresses this gap: tabletop scenes in NVIDIA Isaac Sim are annotated via a four-stage physical slip-test on parallel Franka Panda instances, producing trajectory-reachability checks and continuous quality scores beyond force-closure.Of ${\sim}$2.3M candidates, 83% pass as \emph{good} ($s{\geq}0.50$); the 17% that passed force-closure but failed the slip-test provide graded hard negatives. A Real$\leftrightarrow$Sim loop back-projects these labels onto 100 real-world scenes. The release provides ${\sim}$316k annotated RGBD frame sets across 1035 sim and 100 real scenes, with instance masks, 6-DoF poses, physical object properties, and scored 6-DoF grasps. All tools are open-source and Docker-containerized. The trajectory planning within Isaac Sim further allows streaming of high resolution demonstrations for tabletop manipulation policy learning and behavior cloning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05869v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13472v2cs.RO공통 태그 Pose Estimation, Imitation Learning

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2610.01742v1cs.RO공통 태그 Pose Estimation, Imitation Learning

월드 모션 모델: SE(3) 궤적의 유연한 시퀀스 모델링

World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories

인공 에이전트(agent)에게 공간 지능을 부여하려면 동적 3D 세계에 대한 포괄적인 생성형 사전 확률(generative prior)이 필요합니다. 본 논문에서는 희소한 SE(3) 포즈 궤적을 통해 시간에 걸쳐 "무엇이 어디에 있었고, 현재 어디에 있으며, 앞으로 어디에 있을 것인가"를 포착하는 월드 모션 모델(World Motion Models, WMM)을 제안합니다. WMM은 동적 장면의 요소들이 4D 모델링을 위한 최소한이면서도 표현력이 뛰어난 프리미티브인 강체 SE(3) 궤적 집합으로 잘 근사될 수 있다는 관찰에 기반합니다. 이러한 표현은 다관절 객체, 인체, 손-객체 상호작용, 구분적 강체(piecewise-rigid) 장면 역학, 카메라 움직임, 나아가 로봇 상태와 행동까지 단일 공유 공간으로 통합합니다. 이 표현을 바탕으로 저자들은 토큰별 노이즈 레벨을 적용한 플로우 매칭(flow-matching)을 활용하여 이러한 엔티티들의 결합 분포를 유연한 시퀀스 모델링 문제로 정식화합니다. 비순차적 조건화를 위한 컨텍스트 토큰 메커니즘과 결합된 이 정식화는 임의의 수의 엔티티와 타임스텝에 걸쳐 임의 대 임의(any-to-any) 주변 조건화를 지원합니다. 미래 예측, 모션 인필링(motion infilling), 모델 예측 제어(MPC), 역기구학(IK), 교차 임바디먼트 리타기팅(cross-embodiment retargeting), 정책 학습과 같은 태스크들은 모두 동일한 네트워크 위에 서로 다른 마스크를 적용하는 문제로 귀결됩니다. 3D 비전 및 로보틱스의 6가지 다양한 응용 분야에 대한 실험은 WMM의 다재다능함과 유연성, 그리고 뛰어난 성능을 입증합니다.

arXiv:2609.24906v1cs.RO공통 태그 Imitation Learning, sim-to-real

하이브리드 강화학습을 이용한 평면형 과수원 시각-운동 로봇 가지치기

Visuomotor Robotic Pruning in Planar Orchards Using Hybrid Reinforcement Learning

휴면기 나무 가지치기는 노동 집약적이지만 현대의 고생산성 과수원을 유지하는 데 필수적이다. 본 연구에서는 줄기와 주지가 대략 평면 벽 형태로 유도되는 현대 평면형 나무 재배 시스템—V-Trellis 사과와 UFO 체리—의 가지치기에 초점을 둔다. 로봇 가지치기를 위한 폐루프 시각-운동(visuomotor) 제어기를 학습하는 end-to-end 파이프라인을 제안한다. 이 제어기는 시뮬레이션과 합성 생성 데이터만으로 전적으로 학습되며, 제로샷(zero-shot) 방식으로 실제 과수원에 배포된다. 파이프라인은 평면형 과수원 나무 메시의 합성 생성, 물리 기반 과수원 시뮬레이터 구축, 모션 플래닝(motion planning)을 통한 성공적인 가지치기 궤적의 자동 수집, 오프라인 시연과 온라인 시뮬레이션 롤아웃(rollout)을 결합하는 새로운 하이브리드 강화학습 알고리즘을 이용한 정책 학습으로 구성된다. 제어기는 손목 장착 카메라의 optical flow 입력을 사용—전체 3D 재구성이 필요 없음—하여 복잡한 가지 환경에서 지정된 절단점까지 올바른 공구 방향으로 절단기를 연속적으로 안내한다. 3,000개 가지치기 지점에 대한 포괄적인 시뮬레이션 작업 공간 평가에서 정책은 V-Trellis 사과에서 49.9%, UFO 체리에서 46.0%의 성공률을 달성한다. 학습된 제어기를 상업 및 실험 과수원에서의 28회 옥외 현장 시험과 10회 실내 실험실 시험을 포함한 38회 물리 시험에서 검증하여 제로샷 sim-to-real 전이를 입증한다. 학습된 정책은 또한 실험실 시험의 물리 하드웨어에서 고전 RRT-Connect 기준선을 능가한다.

arXiv:2607.22973v1cs.CV공통 태그 Pose Estimation, sim-to-real

mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습

mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction

밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.

arXiv:2607.14182v1cs.RO공통 태그 Imitation Learning, sim-to-real

동적 휴머노이드 전신 제어를 위한 의미 기반 오디오 주도 이해

Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control

최근 휴머노이드 로보틱스와 강화학습의 발전으로 고도로 표현력 있는 전신 운동 정책을 획득할 수 있게 되었다. 그러나 대부분의 로봇 공연은 여전히 사전 스크립트된 시퀀스 또는 외부로 트리거되는 행동에 기반하여, 동적 환경에 대한 자율성과 반응성을 제한한다. 본 연구에서는 의미 기반 오디오 주도 휴머노이드 제어를 위한 새로운 다중 모달 오케스트레이션 프레임워크를 제안하여, 로봇이 실시간으로 적절한 운동 스킬을 자율적으로 선택하고 실행할 수 있게 한다. 이 시스템은 연속적인 오디오 스트림을 처리하여 음악 또는 음성 분기로 라우팅한다. 음악 입력은 오디오 핑거프린팅과 의미 임베딩을 통해 트랙 식별과 시간적 정렬을 검색하며, 음악 구간과 운동 정책 간의 동적 매핑을 가능하게 한다. 음성 입력은 모방 학습으로 학습된 스킬의 이산 라이브러리에 그라운딩되어 직접적인 인간-로봇 상호작용을 가능하게 한다. 두 모달리티는 강화학습 제어 파이프라인 위에서 스킬 실행을 스케줄링하는 통합 인터페이스를 공유한다. 우리는 시뮬레이션과 Unitree G1 휴머노이드에서 이 접근법을 검증하여, 견고한 sim-to-real 전이와 일관된 오디오 조건화 정책 선택을 보여준다. 보충 자료는 다음 사이트에서 확인할 수 있다: https://lab-rococo-sapienza.github.io/semantic-WBC/

arXiv:2607.14341v1cs.RO공통 태그 Pose Estimation, Robotic Grasping

시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹

Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution

견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.