밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.
관절 구조 객체를 이해하는 것은 로봇 상호작용의 기본이며, 정확한 강체 부품 발견과 이들의 운동학적 관계 복원이 필요하다. 기존 접근법은 종종 관절 구조를 재구성된 기하의 부산물로 다루거나, 인스턴스별 최적화를 통해 이를 복원한다. 우리는 대신 관절 구조가 지속적인 움직임에서 직접 관측 가능하다는 가설에 기반한다. 동일한 강체 부품 위의 점들은 일관되게 움직이고, 부품 간 상대 운동은 운동학적 제약을 드러낸다. 우리는 RGB-D 상호작용 영상에서 구조화된 관절 객체를 복원하기 위한 모션 중심 프레임워크인 Track2Art를 제시한다. Track2Art은 추적된 이미지 점을 지속적인 3D 궤적으로 승격(lift)하고, 사전학습된 추적 특징, 시각 디스크립터, 명시적 궤적 기하를 결합한다. 이 표현들은 가변 개수의 강체 부품 가설로 그룹화되며, 이후 회전 등변(rotation-equivariant) 학습-해석적 추론을 통해 방향성 있는 운동학적 관계, 관절 유형, 관절 기하를 복원하는 데 사용된다. 정렬된 20개 객체 PartNet-Mobility 벤치마크에서 Track2Art는 0.695 Point IoU와 0.410 end-to-end J@20를 달성하며, ground-truth 부품 수나 테스트 시점 최적화 모두 필요하지 않다.
본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.
본 논문에서는 카메라 포즈를 알 수 없는 희소 이미지로부터 관절체(articulated object)를 모델링하는 방법을 제시한다. 기존 접근법들은 조밀한 다중 시점 관측과 관절 상태(articulation state) 전반에 걸쳐 공유되는 실측(ground-truth) 카메라 포즈를 필요로 하는 반면, 우리의 접근법은 관절 상태당 단 4개의 포즈가 없는(unposed) 시점만으로 동작하며, 실측 포즈나 상태 간 공유 캘리브레이션을 필요로 하지 않는다. 핵심 과제는 희소 시점 재구성이 각 관절 상태를 독립적으로 복원할 수는 있지만, 부위 분할(part segmentation)과 기구학적 추론(kinematic reasoning)에 필요한 상태 간 대응 관계(cross-state correspondence)는 제공하지 못한다는 점이다. 우리는 독립적으로 재구성된 상태들을 정렬하고 이들 간의 조밀한 대응 관계를 수립하는 조밀 변형 필드(dense deformation field)를 최적화함으로써 이 문제를 해결한다. 이어서 반복적인 강건 추정(robust estimation) 절차를 통해 정적 부위와 움직이는 부위를 분리하고 그 기구학적 파라미터를 복원한다. 마지막으로, 시점 간 및 상태 간 일관성을 강제하는 자기지도(self-supervised) 손실을 이용하여 기하 구조, 외형, 모션을 정제한다. 표준 벤치마크와 실제 사례에 대한 실험 결과, 본 방법은 기존 연구보다 훨씬 약한 입력 가정 하에서도 정확한 관절체 표현을 생성함을 보인다.
희소 이미지로부터 관절형 객체를 재구성하려면 완전한 기하, 이동 가능한 부품, 운동 파라미터를 복원해야 한다. 최근 방법들은 일반적으로 기하 재구성, 부품 추론, 관절 추정을 서로 다른 단계로 분리한다. 이러한 분리는 형상, 활성 부품, 운동 사이의 일관성을 약화시킬 수 있으며, 상당한 추론 비용도 발생시킨다. 우리는 잠재 기하 학습을 통한 관절형 객체 재구성을 위한 엔드투엔드 순전파(feed-forward) 프레임워크인 Artic-O를 제안한다. Artic-O는 이미지 또는 뷰 공간에서 기하를 맞추는 대신, 희소 다중 상태 관측을 사전학습된 잠재 기하 공간으로 매핑하며, 여기서 고정된 flow-matching 디코더가 가시적 및 가려진 구조를 복원하기 위한 완전 형상 사전(prior)을 제공한다. 기하와 관절을 연결하기 위해 Artic-O는 활성 부품 분할 및 관절 예측을 위해 이미지 기반(image-grounded) 부품 추론 모듈에서 시각 토큰, 기하 잠재 표현, 점별(point-wise) 디코더 특징을 융합한다. 또한 재구성과 부품 수준 지도를 균형 있게 맞추기 위해 기하-관절 커리큘럼과 분리된 2-pass 전략으로 모델을 추가로 학습한다. PartNet-Mobility에서 Artic-O는 강력한 기존 방법인 LARM보다 훨씬 더 효율적이면서도 우수한 재구성 품질을 달성한다. Chamfer Distance를 낮추고 F-score를 개선하며, 대부분의 관절 지표에서 비슷하거나 더 나은 관절 정확도를 달성하는 동시에, 객체별 추론 시간을 9분에서 약 0.3초로 단축한다.
관절형 객체와의 전신 인간 상호작용 합성을 위해 텍스트 조건부 확산 모델 GIRAF를 제안하며, 객체 중심의 Dynamic BPS 표현으로 손-객체 접촉을 통합하고 혼합 도메인 학습 전략과 접촉 기반 데이터 증강을 결합하여 이동에서 조작으로의 자연스러운 전환을 생성한다. 미관측 객체 배치에 대한 강력한 일반화 능력을 입증하며 최첨단 방법들을 능가하였다.
단일 이미지로부터 관절형 물체를 3D 재구성하는 것은, 이미지와 3D 지도(supervision)가 쌍으로 구성된 대규모 학습 데이터셋을 확보하기 어렵기 때문에 도전적인 과제입니다. 최근의 포인트 맵 기반 방법들은 높은 성능을 달성하지만, 신중하게 큐레이션된 포즈 분포를 갖는 수동 제작 관절형 3D 에셋으로부터 렌더링된 합성 데이터셋에 의존합니다. 카메라 시점은 쉽게 샘플링할 수 있는 반면, 사실적인 물체 관절 동작을 생성하는 것은 여전히 비용이 많이 들고 노동 집약적입니다. 우리는 카테고리당 단 하나의 리깅된 정규 메쉬(canonical mesh)만을 활용하여 비주석 2D 이미지 컬렉션을 사용함으로써 이러한 요구 사항을 줄이는 학습 프레임워크를 제안합니다. 정규 포즈 렌더링으로 학습된 약한 3D 형상 예측기(shape predictor)에서 출발하여, 예측된 포인트 맵에 메쉬를 피팅함으로써 물체 관절 동작과 카메라 포즈를 반복적으로 추정합니다. 이렇게 복원된 관절 동작과 시점은 업데이트된 합성 학습 데이터 렌더링에 사용되어 예측기를 점진적으로 향상시킵니다. 상당히 약한 3D 지도를 사용함에도 불구하고, 우리의 모델은 수동으로 큐레이션된 관절형 학습 데이터셋을 필요로 하는 DualPM과 비견되는 성능을 달성합니다.
Building high-fidelity digital twins of articulated objects from visual data remains a central challenge. Existing approaches depend on multi-view captures of the object in discrete, static states, which severely constrains their real-world scalability. In this paper, we introduce Articulat3D, a novel framework that constructs such digital twins from casually captured monocular videos by jointly enforcing explicit 3D geometric and motion constraints. We first propose Motion Prior-Driven Initialization, which leverages 3D point tracks to exploit the low-dimensional structure of articulated motion. By modeling scene dynamics with a compact set of motion bases, we facilitate soft decomposition of the scene into multiple rigidly moving groups. Building on this initialization, we introduce Geometric and Motion Constraints Refinement, which enforces physically plausible articulation through learnable kinematic primitives parameterized by a joint axis, a pivot point, and per-frame motion scalars, yielding reconstructions that are both geometrically accurate and temporally coherent. Extensive experiments demonstrate that Articulat3D achieves state-of-the-art performance on synthetic benchmarks and real-world casually captured monocular videos, significantly advancing the feasibility of digital twin creation under uncontrolled real-world conditions. Our project page is available at https://maxwell-zhao.github.io/Articulat3D/.
Deploying robots in unstructured real-world environments needs accurate, interactive models of the objects. Constructing these models at scale remains a critical bottleneck for robotic system integration. We present ArtiTwinSplat, a framework that automatically constructs articulated, photo-realistic digital twins of objects directly from RGB-D videos, requiring no CAD models, simulation assets, or manual annotations. Our method is built on 3D Gaussian Splatting that preserve geometric fidelity and photometric realism, coupled with an unsupervised articulation discovery pipeline that recovers part structure and joint kinematics from observed motion alone. With tracking and optimization stages our method provides stable, queryable digital twins that support real-time rendering, viewpoint control, and interactive manipulation. Unlike prior methods confined to simulation, ArtiTwinSplat operates directly on real-world observations and produces twins that are immediately usable by downstream robot planning and learning systems. This method offers a practical, scalable pathway toward digital twin construction, lowering the integration barrier for articulated object manipulation in embodied AI and human-robot collaboration contexts.
센서 관측값으로부터 시뮬레이션 가능한 관절형 객체(articulated object)의 디지털 트윈을 재구성하는 작업은 여전히 두 가지 지속적인 격차로 인해 제한됩니다: (i) 부품(part) 수준의 기하학적 재구성이 운동학적 매개변수 추정과 분리되어 있으며, (ii) 복원된 모델(model)은 에너지 보존과 같은 기본적인 동적 불변성을 종종 위반하여, 물리 시뮬레이터에서 URDF를 재생할 때 드리프트(drift)가 발생합니다. 본 논문에서는 KinemaForge를 소개합니다. 이는 제약 조건 기반 파이프라인으로, 짧은 RGB-D 시퀀스에서 부품 수준의 형상, 관절 위상(topology), 관절 매개변수를 공동으로 추론(inference)하고, 미분 가능한 강체 역학(rigid-body dynamics)을 기반으로 구축된 에너지 일관성 검증기를 통해 결과를 검증합니다. 이 파이프라인은 세 가지 구성 요소를 도입합니다: 관절-부품 관계를 소프트 엣지(soft edge)로 인코딩하는 운동학적 제약 그래프; 렌더링된 관측값으로부터 Featherstone의 아티큘레이티드 바디 알고리즘을 거쳐 관절 매개변수까지 역전파하는 미분 가능한 스크류 축(screw-axis) 솔버; 그리고 재구성된 모델의 비물리적 자유 응답(free response)에 페널티를 부여하는 에너지 잔차 손실(loss)입니다. 5개의 PartNet-Mobility 카테고리와 내부 RGB-D 벤치마크(benchmark)에서 KinemaForge는 가장 강력한 기하학적 기준선(baseline)인 PARIS 대비 평균 관절 축 오차를 4.52도에서 2.83도(-37.4%)로, 상호작용 기반 기준선인 Ditto 대비 5.30도에서 2.83도(-46.6%)로 감소시켰습니다. 또한 50초 롤아웃(rollout) 동안 장기 시뮬레이션 드리프트(drift)를 64%(PARIS 대비) 줄였으며, 예비 평가 결과 Ditto 대비 폐루프 조작 성공률이 14.6%p 향상된 URDF를 생성했습니다. 코드와 재구성 데이터는 논문 수락 시 공개될 예정입니다.