WorldFlow: 대규모 사전 학습을 통한 비디오 및 3D 동작 결합 예측
WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
한국어 초록
미래의 물리적 상태를 예측하는 것은 체화 지능의 핵심 과제이다. 기존 비디오 세계 모델은 3D 동역학을 암묵적으로 남겨 두고, 행동 기반 정식화는 특정 로봇 구성에 묶여 있으며, 3D 동작 예측 모델은 플로우만을 감독 신호로 사용하여 물리적 동역학에 대한 학습 신호가 제한적이다. 이러한 한계를 극복하기 위해, 우리는 미래 비디오와 질의 기반 3D 궤적을 함께 예측하는 생성형 세계 모델 \method{}를 제안한다. 3D 동작을 비디오 격자에 정렬된 연속 변위 토큰으로 매개변수화함으로써, 통합된 Mixture-of-Transformers(MoT) 백본이 정류 흐름(rectified-flow) 목적 함수 아래에서 두 양식을 함께 노이즈 제거한다. 이러한 정식화는 명시적인 기하 동역학을 시각적 변화와 결합하여, 사전 학습된 비디오 모델에 내재한 물리적 상식을 효과적으로 끌어낸다. 이 통합 아키텍처를 경험적으로 확장하고 검증하기 위해, 시뮬레이션과 실세계 영역에 걸친 144만 개의 객체 수준 샘플의 이질적 혼합 데이터로 \method{}를 학습한다. 또한 시뮬레이션 및 실세계 상호작용의 11개 데이터 출처에서 가져온, 공간 추론 과제를 포함한 1,678개의 평가 샘플로 구성된 WorldFlowBench를 도입한다. 세 가지 평가 세트 모두에서 WorldFlow는 평가된 학습 기반 방법 중 가장 낮은 평균 변위 오차(ADE)와 최종 변위 오차(FDE)를 달성한다. 특히 어려운 SpatialCog 세트에서 WorldFlow는 ADE 0.060 m를 달성하여 가장 강력한 외부 기준선 대비 54.2% 감소했다. 또한 플로우 전용 변형과 비교하여 ADE와 FDE를 각각 55.9%, 68.5% 줄인다. 프로젝트 페이지: https://worldflow-rbs.github.io/.
원문 초록
Predicting future physical states stands as a central challenge in embodied intelligence. Existing video world models leave 3D dynamics implicit, action-based formulations remain tied to specific robot configurations, and 3D motion prediction models use flow-only supervision, providing a limited learning signal for physical dynamics. To circumvent these limitations, we introduce \method{}, a generative world model that jointly predicts future video and query-based 3D trajectories. By parameterizing 3D motion as continuous displacement tokens aligned with the video grid, a unified Mixture-of-Transformers (MoT) backbone jointly denoises both modalities under a rectified-flow objective. This formulation couples explicit geometric dynamics with visual evolution, effectively unlocking the physical commonsense embedded within pretrained video models. To empirically scale and validate this unified architecture, we train \method{} on a heterogeneous mixture of 1.44 million object-level samples spanning simulated and real-world domains. We further introduce WorldFlowBench, comprising 1,678 evaluation samples from 11 data sources across simulated and real-world interactions, including spatial reasoning tasks. Across all three evaluation sets, WorldFlow achieves the lowest average displacement error (ADE) and final displacement error (FDE) among the evaluated learning-based methods. Notably, on the challenging SpatialCog set, WorldFlow achieves an ADE of 0.060 m, a 54.2\% reduction compared with the strongest external baseline. It also reduces ADE and FDE by 55.9\% and 68.5\%, respectively, compared with its flow-only variant. Project page: https://worldflow-rbs.github.io/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.39278v2제출 시각 미확인
- arXiv:2610.39278v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.