Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints
원문 초록
Building high-fidelity digital twins of articulated objects from visual data remains a central challenge. Existing approaches depend on multi-view captures of the object in discrete, static states, which severely constrains their real-world scalability. In this paper, we introduce Articulat3D, a novel framework that constructs such digital twins from casually captured monocular videos by jointly enforcing explicit 3D geometric and motion constraints. We first propose Motion Prior-Driven Initialization, which leverages 3D point tracks to exploit the low-dimensional structure of articulated motion. By modeling scene dynamics with a compact set of motion bases, we facilitate soft decomposition of the scene into multiple rigidly moving groups. Building on this initialization, we introduce Geometric and Motion Constraints Refinement, which enforces physically plausible articulation through learnable kinematic primitives parameterized by a joint axis, a pivot point, and per-frame motion scalars, yielding reconstructions that are both geometrically accurate and temporally coherent. Extensive experiments demonstrate that Articulat3D achieves state-of-the-art performance on synthetic benchmarks and real-world casually captured monocular videos, significantly advancing the feasibility of digital twin creation under uncontrolled real-world conditions. Our project page is available at https://maxwell-zhao.github.io/Articulat3D/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.11606v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기
MoSE3: Learning World-Space SE(3) at Every Pixel
밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.
DyRAD: 동적 주행 장면을 위한 레이더 신규 시점 합성
DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.
Track2Art: 2D 점 추적기 기반 모션 중심 관절 구조 객체 모델 복원
Track2Art: Motion-Centric Articulated Object Model Recovery from 2D Point Trackers
관절 구조 객체를 이해하는 것은 로봇 상호작용의 기본이며, 정확한 강체 부품 발견과 이들의 운동학적 관계 복원이 필요하다. 기존 접근법은 종종 관절 구조를 재구성된 기하의 부산물로 다루거나, 인스턴스별 최적화를 통해 이를 복원한다. 우리는 대신 관절 구조가 지속적인 움직임에서 직접 관측 가능하다는 가설에 기반한다. 동일한 강체 부품 위의 점들은 일관되게 움직이고, 부품 간 상대 운동은 운동학적 제약을 드러낸다. 우리는 RGB-D 상호작용 영상에서 구조화된 관절 객체를 복원하기 위한 모션 중심 프레임워크인 Track2Art를 제시한다. Track2Art은 추적된 이미지 점을 지속적인 3D 궤적으로 승격(lift)하고, 사전학습된 추적 특징, 시각 디스크립터, 명시적 궤적 기하를 결합한다. 이 표현들은 가변 개수의 강체 부품 가설로 그룹화되며, 이후 회전 등변(rotation-equivariant) 학습-해석적 추론을 통해 방향성 있는 운동학적 관계, 관절 유형, 관절 기하를 복원하는 데 사용된다. 정렬된 20개 객체 PartNet-Mobility 벤치마크에서 Track2Art는 0.695 Point IoU와 0.410 end-to-end J@20를 달성하며, ground-truth 부품 수나 테스트 시점 최적화 모두 필요하지 않다.
CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어
CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation
우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.
AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성
AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos
본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.
동적 명시적 머리카락을 갖춘 헤드 아바타
Head Avatars with Dynamic Explicit Hair
DynHair를 제안한다. 이는 인간 헤드 아바타의 동적 머리카락을 추적하고 모델링하기 위한 새로운 방법이다. 비디오 입력으로부터 structured 3D Gaussian Splatting을 사용하여 명시적 가닥(strand) 기반 머리카락 표현을 갖춘 동적 헤드 아바타를 재구성한다. 표현력 있는 3D 헤드 모델에 대해 부착되거나 생성된 3D Gaussian으로 모델링할 수 있는 인간 헤드 아바타의 얼굴 영역과 달리, 머리카락은 동적 움직임 효과를 보이기 때문에 특히 어렵다. 따라서 머리카락 가닥의 동적 변형을 머리의 각속도(angular velocity)와 가속도, 그리고 상대적 중력(relative gravity)에 조건화된 시간적 네트워크로 모델링하는 새로운 방법을 제안한다. 구체적으로, LSTM이 운동 이력을 인코딩하고 FiLM conditioning을 통해 점별(per-point) 가닥 특징을 변조하며, 이는 MLP에서 canonical hairstyle에 대한 물리적으로 타당한 변위(displacement)를 생성하는 데 사용된다. 광도(photometric), 기하(geometric), 물리 기반(physics-based) supervision을 갖춘 미분 가능(differentiable) Gaussian splatting을 통해, 얼굴 영역의 3DGS 기반 표현과 함께 머리카락의 이 운동 및 외형 표현을 공동 최적화한다. 이 방법의 결과로, 학습 비디오 데이터에 대한 머리카락 추적과 제어 가능한 머리카락 역학(dynamics)을 갖춘 애니메이션 가능(animatable)한 헤드 아바타를 얻는다. 실험에서 머리카락 역학, 시간적 일관성(temporal consistency), 피험자 간 일반화(generalization) 측면에서 최신(state-of-the-art) 성능을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.