arXiv:2604.14944v3 cs.RO

HRDexDB: 인간 및 다중 로봇 임바디먼트에 걸친 4D 정교한 파지 데이터셋

HRDexDB: A 4D Dexterous Grasping Dataset Across Human and Multiple Robot Embodiments

Jongbin Lim, Taeyun Ha, Seongho Cha, Kanghyeon Cho, Mingi Choi, Subin Jeon, Jisoo Kim, Byungjun Kim, Hanbyul Joo

제출 2026-04-16

한국어 초록

본 논문에서는 5개의 임바디먼트(embodiment)에 걸쳐 시간에 따른 3D 손-물체 상호작용 궤적을 캡처한 실제 환경 4D 정교한 파지(dexterous grasping) 데이터셋인 HRDexDB를 제시합니다. 이 데이터셋은 100개의 다양한 물체에 대한 3,200회의 시도로 구성됩니다. 동기화된 다중 카메라 시스템과 통합 재구성 파이프라인을 활용하여, HRDexDB는 성공/실패 어노테이션과 함께 다중 뷰 및 1인칭 시점(egocentric) RGB 관측치, 3D 손 기하구조, 로봇 상태, 물체의 6D 포즈 궤적을 제공합니다. 인간과 로봇의 손이 공통 물체와 상호작용하므로 임바디먼트별 파지 전략과 접촉 패턴에 대한 연구가 가능합니다. 본 연구는 인간-로봇 간 접촉 맵 전이, 시각적 로봇-물체 접촉 추정, 검색 보조 파지를 통해 본 데이터셋의 유용성을 입증합니다. 이러한 결과를 종합하여 HRDexDB는 인간 및 로봇 임바디먼트 전반에서 정교한 상호작용을 연구하고 학습하기 위한 유용한 자원으로 자리매김합니다.

원문 초록

We present HRDexDB, a real-world 4D dexterous grasping dataset capturing 3D hand-object interaction trajectories over time across five embodiments. The dataset comprises 3.2K trials over 100 diverse objects. Using a synchronized multi-camera system and an integrated reconstruction pipeline, HRDexDB provides multi-view and egocentric RGB observations, 3D hand geometry, robot states, and object 6D pose trajectories, together with success/failure annotations. Human and robotic hands interact with shared objects, enabling the study of embodiment-dependent grasp strategies and contact patterns. We demonstrate the dataset's utility through human-to-robot contact map transfer, visual robot-object contact estimation, and retrieval-assisted grasping. Together, these results establish HRDexDB as a resource for studying and learning dexterous interactions across human and robotic embodiments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.14944v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01744v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Robot Manipulation

3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋

3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability

로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.

arXiv:2610.15734v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2610.13945v1cs.RO공통 태그 3D Reconstruction, Robot Manipulation

Splat2Act: 캡처된 장면에서 개인화된 VLA 조작으로

Splat2Act: From Captured Scenes to Personalized VLA Manipulation

범용 조작 정책(manipulation policy)을 가정이나 사무실에 도입하는 사용자는 로봇이 선반, 조리대, 테이블에서 자신의 물체를 집어 올리기를 원합니다. 그러나 $π_{0.5}$와 같은 강력한 범용 정책조차도 적응(adaptation) 없이는 우리가 캡처한 배포 장면에서 0%의 집기 성공률을 보이며, 모든 사용자의 환경에서 실제 시연(demonstration) 데이터를 수집하는 것은 비용이 지나치게 많이 듭니다. 본 논문에서는 휴대폰 스캔과 사용자의 물체 이미지만을 활용하여 사전학습된 비전-언어-행동(VLA, Vision-Language-Action) 정책을 특정 장면 및 물체 세트에 맞게 개인화하는 자동화된 real-to-sim-to-real 파이프라인인 Splat2Act를 제안합니다. 개별 테이블탑만 재구성하던 기존 real-to-sim 연구와 달리, Splat2Act는 건물 규모의 실내 환경에서 작동합니다. 즉, 3D 가우시안 스플래팅(3D Gaussian Splatting)과 충돌 기하학을 통해 사실적인 디지털 트윈을 구축하고, 테이블탑 및 비-테이블탑 수납 공간(receptacle)을 자동으로 감지하며, 실행 가능한 집기 작업을 생성하고, 특권 시뮬레이션 오라클(privileged simulation oracle)을 통해 성공적인 시연 데이터를 생성하므로 사람에게는 장면 및 물체 캡처 작업만 요구됩니다. 이동 가능한 중앙 면적이 104.87 m$^2$이고 7개의 수납 공간을 가진 101개의 스캔된 캠퍼스 환경에 적용했을 때, 이 파이프라인은 852개의 수납 공간과 68,000개 이상의 집기 시연 데이터를 생성했습니다. 우리는 $π_{0.5}$를 두 단계로 파인튜닝합니다. 1단계는 배포 장면 단독 또는 101개 전체 장면에서 가져온 수백 개의 공개 물체 에셋에 적응하고, 2단계는 배포 장면의 수납 공간에 놓인 사용자 고유의 물체에 맞춰 개인화합니다. 가장 강력한 개인화 정책은 목표 장면에서 62.5%의 종합 집기 성공률을 달성했습니다. 실제 Stretch 3에 배포했을 때, 동일한 정책은 12개 작업 하위 집합에서 63.9%의 성공률을 달성하여 해당 작업의 시뮬레이션 성공률인 66.7%를 근접하게 따랐습니다. 이러한 결과는 자동화된 real-to-sim-to-real 학습이 시뮬레이션 오라클 데이터만을 사용하여 VLA 조작 정책을 개인화할 수 있음을 시사합니다.

arXiv:2610.10960v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction

LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델

LVSPM: Long Sequence View Synthesis and Pose Estimation Model

본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.

arXiv:2610.02343v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.03691v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction

FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처

FlowHMR: Physically Plausible Motion Capture from Video

본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.