MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기
MoSE3: Learning World-Space SE(3) at Every Pixel
한국어 초록
밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.
원문 초록
Dense 3D point tracking has been a prominent paradigm for modeling motion in dynamic scenes, but a point track is just a 3-DoF translation curve per pixel: it captures where pixels go, not the rotation of the underlying part, nor which pixels move together as one body. We propose MoSE3, the first feed-forward model that predicts dense SE(3) motion from monocular RGB video, producing full 6-DoF rigid transforms at every pixel in world space. Per-pixel SE(3) motion offers a richer view of how a scene moves: rotation, translation, and grouping all at once. Directly predicting SE(3) is challenging: rotations lie on a curved manifold that is ill-suited to Euclidean regression, and annotations for SE(3) are particularly difficult to acquire. To address these challenges, MoSE3 predicts per-pixel SE(3) through two jointly learned intermediates, 3D point tracks and rigidity embeddings, and recovers SE(3) by differentiably fitting transforms within each soft rigid cluster, enabling end-to-end prediction and supervision. To close the data gap, we introduce Art-Kubric, a large-scale synthetic dataset with dense SE(3) and rigidity labels for articulated objects with rich physical interactions. MoSE3 achieves state-of-the-art SE(3) estimation at pixel, part, and object levels on both rigid and articulated benchmarks, and state-of-the-art average 3D point tracking accuracy across three datasets, while showing strong generalization to real-world videos despite being trained solely on synthetic motion data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성
AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos
본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.
ARROW: 인더와일드 환경에서 4D 관측의 임의 재구성 및 추적
ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
동적 장면은 움직이는 카메라, 다중 비디오 스트림, 또는 서로 다른 시점에 촬영된 이미지들로 캡처될 수 있습니다. 이러한 관측들은 장면 지오메트리 및 모션의 상호 보완적인 측면들을 드러내지만, 이를 하나로 통합하려면 시점, 캡처 시간, 가시성 변화 전반에 걸친 대응 관계(correspondence)를 확립해야 합니다. 본 논문에서는 임의의 이미지 세트로부터 3D 재구성(reconstruction)과 3D 포인트 추적(tracking)을 통합하는 피드포워드 모델인 ARROW를 소개합니다. 핵심은 임의의 입력 전반에서 쿼리와 관측을 연관 지을 수 있게 하는 새로운 순서 불변 쿼리(order-invariant querying) 접근 방식입니다. 저자들은 학습(training) 중에 모델(model)을 더욱 다양한 입력 세트에 노출시키는 것이 태스크 성능 향상으로 이어진다는 점을 보여줍니다. 또한, 이를 통해 도출된 모델은 다중 뷰 추적을 포함하여 더 넓은 범위의 태스크로 일반화할 수 있습니다. 이러한 전략으로 학습된 ARROW는 WorldTrack 및 TAPVid-3D에서 3D 추적 부문의 새로운 SOTA(state of the art)를 달성하고, 3D 재구성 태스크 전반에서 경쟁력을 유지하면서도 개작된 RGB 전용 MVTracker 벤치마크에서 전용 다중 뷰 트래커들의 성능을 능가합니다. 코드와 가중치는 공개되어 있습니다.
Track2Art: 2D 점 추적기 기반 모션 중심 관절 구조 객체 모델 복원
Track2Art: Motion-Centric Articulated Object Model Recovery from 2D Point Trackers
관절 구조 객체를 이해하는 것은 로봇 상호작용의 기본이며, 정확한 강체 부품 발견과 이들의 운동학적 관계 복원이 필요하다. 기존 접근법은 종종 관절 구조를 재구성된 기하의 부산물로 다루거나, 인스턴스별 최적화를 통해 이를 복원한다. 우리는 대신 관절 구조가 지속적인 움직임에서 직접 관측 가능하다는 가설에 기반한다. 동일한 강체 부품 위의 점들은 일관되게 움직이고, 부품 간 상대 운동은 운동학적 제약을 드러낸다. 우리는 RGB-D 상호작용 영상에서 구조화된 관절 객체를 복원하기 위한 모션 중심 프레임워크인 Track2Art를 제시한다. Track2Art은 추적된 이미지 점을 지속적인 3D 궤적으로 승격(lift)하고, 사전학습된 추적 특징, 시각 디스크립터, 명시적 궤적 기하를 결합한다. 이 표현들은 가변 개수의 강체 부품 가설로 그룹화되며, 이후 회전 등변(rotation-equivariant) 학습-해석적 추론을 통해 방향성 있는 운동학적 관계, 관절 유형, 관절 기하를 복원하는 데 사용된다. 정렬된 20개 객체 PartNet-Mobility 벤치마크에서 Track2Art는 0.695 Point IoU와 0.410 end-to-end J@20를 달성하며, ground-truth 부품 수나 테스트 시점 최적화 모두 필요하지 않다.
실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적
Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment
다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026 Spotlight. Project page: https://mose3-tracker.github.io/