arXiv:2611.19803v2 cs.CV

Pros4D: 동적 공간 추론을 위한 잠재 공간의 4차원 세계 변화 모델링

Pros4D: Modeling Evolving 4D Worlds in Latent Space for Dynamic Spatial Reasoning

Rongxin Gao, Dongxuan Liu, Chu Li, Chengyang Ji, Jialing Huang, Runyu Chen, Kairun Wen, Chenxin Li, Jingrui Ye, Haosong Zhen, Xinghao Ding, Yue Huang, Yuzhi Huang, Xiaotong Tu, Jingyan Jiang

제출 2026-11-17

한국어 초록

단안 동영상에서 동적 공간 추론을 수행하면 비전-언어 모델(VLM)이 3차원 환경이 시간에 따라 어떻게 바뀌는지 이해할 수 있다. 이는 물리 세계의 이해와 체화 지능을 지원한다. 기존 연구는 주로 관측한 동역학의 이해를 다뤘지만, 동적 환경에서 작동하는 에이전트는 관측 범위를 넘어 미래 동역학도 예측해야 한다. 또한 외부 기하 처리와 텍스트 설명으로 연속적인 동역학을 표현하면, 추론이 복잡해지거나 정보가 손실될 수 있다. 이러한 한계는 관측한 동역학을 보존하고 입력 영상 이후까지 예측할 수 있는 공통 내부 상태의 필요성을 보여 준다. 본 연구는 변화하는 4차원 세계를 잠재 공간에서 모델링하는 Pros4D를 제안한다. 과거의 관측 동역학을 이해하는 능력과 앞으로의 동역학을 예측하는 추론을 하나로 통합한다. Pros4D-Engine은 기하 구조에 근거한 감독 신호를 도출하고 두 과제를 위한 짝지은 예제를 구축한다. Pros4D-Bench는 움직이는 카메라, 객체, 장면에 걸친 여덟 가지 공간 과제 범주에서 두 능력을 평가한다. 모델은 관측한 동역학을 잠재 관측 상태로 압축하고, 자기회귀 롤아웃으로 잠재 미래 상태까지 전개한다. 4차원 잠재 상태 정렬(4DLA)은 상호 보완적인 시각·의미 감독과 기하 감독으로 이 상태를 실제 영상과 공간 구조에 연결한다. 공동 언어 감독을 통해 이 상태를 과제 추론과도 연결한다. 여러 벤치마크의 실험에서 두 능력 모두 강력한 기준선보다 일관되게 향상됐다.

원문 초록

Dynamic spatial reasoning from monocular video enables vision-language models (VLMs) to understand how 3D environments evolve over time, supporting physical world understanding and embodied intelligence. Existing efforts primarily address observed-dynamics understanding, whereas agents in dynamic environments also require future-dynamics prediction beyond the observation boundary. Moreover, external geometric processing and textual descriptions can increase inference complexity or lose information when representing continuous dynamics. These limitations motivate a shared internal state that preserves observed dynamics and remains predictive beyond the input video. Accordingly, we present Pros4D, a framework for modeling evolving 4D worlds in latent space that unifies retrospective understanding of observed-dynamics with prospective reasoning for future-dynamics prediction. Specifically, Pros4D-Engine derives geometry-grounded supervision and constructs paired examples for both tasks, while Pros4D-Bench evaluates them across eight spatial task categories spanning dynamic cameras, objects, and scenes. At the model level, Pros4D compresses observed dynamics into latent observed states and autoregressively rolls them forward into latent future states. 4D Latent Alignment (4DLA) grounds these states through complementary visual-semantic and geometric supervision, while joint language supervision connects them to task reasoning. Experiments across benchmarks show consistent improvements over strong baselines in both capabilities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19803v2제출 시각 미확인
  2. arXiv:2611.19803v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.