ARROW: 인더와일드 환경에서 4D 관측의 임의 재구성 및 추적
ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
한국어 초록
동적 장면은 움직이는 카메라, 다중 비디오 스트림, 또는 서로 다른 시점에 촬영된 이미지들로 캡처될 수 있습니다. 이러한 관측들은 장면 지오메트리 및 모션의 상호 보완적인 측면들을 드러내지만, 이를 하나로 통합하려면 시점, 캡처 시간, 가시성 변화 전반에 걸친 대응 관계(correspondence)를 확립해야 합니다. 본 논문에서는 임의의 이미지 세트로부터 3D 재구성(reconstruction)과 3D 포인트 추적(tracking)을 통합하는 피드포워드 모델인 ARROW를 소개합니다. 핵심은 임의의 입력 전반에서 쿼리와 관측을 연관 지을 수 있게 하는 새로운 순서 불변 쿼리(order-invariant querying) 접근 방식입니다. 저자들은 학습(training) 중에 모델(model)을 더욱 다양한 입력 세트에 노출시키는 것이 태스크 성능 향상으로 이어진다는 점을 보여줍니다. 또한, 이를 통해 도출된 모델은 다중 뷰 추적을 포함하여 더 넓은 범위의 태스크로 일반화할 수 있습니다. 이러한 전략으로 학습된 ARROW는 WorldTrack 및 TAPVid-3D에서 3D 추적 부문의 새로운 SOTA(state of the art)를 달성하고, 3D 재구성 태스크 전반에서 경쟁력을 유지하면서도 개작된 RGB 전용 MVTracker 벤치마크에서 전용 다중 뷰 트래커들의 성능을 능가합니다. 코드와 가중치는 공개되어 있습니다.
원문 초록
Dynamic scenes may be captured by a moving camera, multiple video streams, or images taken at different times. These observations reveal complementary aspects of scene geometry and motion, yet bringing them together requires establishing correspondence across viewpoints, capture times, and visibility changes. We introduce ARROW, a feed-forward model that unifies 3D reconstruction and 3D point tracking from arbitrary image sets. At its core is a novel order-invariant querying approach, which allows the association of queries with observations across arbitrary inputs. We show that exposing the model to more diverse sets of inputs during training results in improved task performance. Moreover, the resulting model is capable of generalization to a wider range of tasks including multi-view tracking. Trained with this strategy, ARROW establishes a new state of the art in 3D tracking on WorldTrack and TAPVid-3D and outperforms dedicated multi-view trackers on an adapted RGB-only MVTracker benchmark, while remaining competitive across 3D reconstruction tasks. Code and weights are publicly available.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기
MoSE3: Learning World-Space SE(3) at Every Pixel
밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.
OmniX: 피드포워드 궤적 필드를 통한 임의 시점 및 임의 시간 4D 재구성
OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields
기존 피드포워드 4D 재구성 방법들은 전경 움직임을 무시한 채 프레임별 정적 포인트 클라우드를 예측하거나, 카메라 움직임이 작은 경우에 국한하여 포인트 클라우드 궤적을 추정하는 한계가 있었다. 이로 인해 시간에 걸친 관측을 집계하고 큰 시점 변화 하에서 완전한 동적 장면을 재구성하는 능력이 제한되었다. 이러한 한계를 해결하기 위해, 우리는 대규모 카메라 움직임을 포함한 비디오에서 모든 픽셀에 대한 밀집 3D 포인트 궤적을 예측하는 피드포워드 4D 재구성 프레임워크 OmniX를 제안한다. OmniX는 동적 모션 모델링과 정적 기하 예측을 분리하고, 컴팩트한 동적 토큰 집합을 사용하여 모션을 표현한다. 3D 모션의 희소하고 저랭크(low-rank) 구조를 활용함으로써, 이 토큰들은 전역 상호작용을 효율적으로 보존하면서 모든 이미지의 모든 픽셀에 대한 궤적 필드를 생성한다. 학습을 지원하기 위해, UE5 기반 자동 4D 데이터 엔진을 추가로 구축하고 완전한 기하 어노테이션을 갖춘 80K 장면과 128만 개의 멀티뷰 비디오를 포함하는 대규모 데이터셋을 공개한다. OmniX는 밀집 3D 포인트 궤적 예측 및 3D 포인트 추적에서 최첨단 성능을 달성하며, 비디오 깊이 추정 및 카메라 포즈 추정에서도 경쟁력 있는 결과를 보여준다.
PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성
PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics
월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.
LPA-CWM: 반사실적 월드 모델을 활용한 모션 추론을 위한 학습된 물리 판정기
LPA-CWM: A Learned Physical Adjudicator for Motion Reasoning with Counterfactual World Models
반사실적 월드 모델(CWM)은 실제 예측과 개입된 예측을 비교하여 사전학습된 비디오 예측기에서 모션을 추출하지만, 균일 집계(uniform aggregation)는 물리적 사전지식(physical priors)을 명시적으로 통합하지 않고 응답에 동일한 가중치를 부여합니다. 본 연구의 핵심 통찰은 물리적 사전지식을 후보 신뢰도 학습에 통합하는 것으로, 가벼운 학습된 물리 판정기(LPA)를 갖춘 LPA-CWM을 제안하게 된 배경이 되었습니다. 조밀한 MOVi-F 궤적에서 학습된 3.0M 매개변수의 LPA는 순서가 없는 후보 집합 전체에서 시각적 문맥과 응답 구조를 비교하여 상대적 가중치를 예측하며, CWM을 고정한 상태에서 윈도우 기반 위치 파악 및 1회의 쌍별 재평가를 통해 모션을 복원합니다. 기존의 비디오 수준 벤치마크는 낮은 위치 파악 오차가 누락된 궤적 구간을 감출 수 있는 모션 대응을 직접적으로 평가하지 못합니다. 이에 따라 위치 파악, 완전성, 가시성 및 연속성을 함께 측정하고 가시적인 동적 지점에서 누락된 예측을 실패로 간주하는 정답 기반 프로토콜인 완전성 인식 모션 대응(CMC)을 도입합니다. DAVIS, Kinetics 및 RoboTAP 전반에 걸쳐 LPA-CWM은 Uniform CWM 대비 모든 주요 CMC 지표를 개선하여 평균 동적 대응 정확도($\mathrm{DCA}_{\mathrm{avg}}$)에서 18.1%--60.0%의 상대적 향상을 달성하고, TAP-Vid First 추적 정확도를 향상시킵니다(개요: https://LPA-CWM.github.io).
SCOPE-4D: 내시경 4D 기하학 파운데이션 모델
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크
Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces
Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page at: https://www.vision.rwth-aachen.de/arrow