Sora Generates Videos with Stunning Geometrical Consistency
원문 초록
The recently developed Sora model [1] has exhibited remarkable capabilities in video generation, sparking intense discussions regarding its ability to simulate real-world phenomena. Despite its growing popularity, there is a lack of established metrics to evaluate its fidelity to real-world physics quantitatively. In this paper, we introduce a new benchmark that assesses the quality of the generated videos based on their adherence to real-world physics principles. We employ a method that transforms the generated videos into 3D models, leveraging the premise that the accuracy of 3D reconstruction is heavily contingent on the video quality. From the perspective of 3D reconstruction, we use the fidelity of the geometric constraints satisfied by the constructed 3D models as a proxy to gauge the extent to which the generated videos conform to real-world physics rules. Project page: https://sora-geometrical-consistency.github.io/
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
PhysForge: 분리 가능한 컴포넌트를 활용한 재질 제어 가능 3D 재구성
PhysForge: Material-Controllable 3D Reconstruction with Separable Components
물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.
WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장
WorldWeave: Growing Persistent Geometric Worlds for Video Generation
급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.
UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합
UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation
본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.
Honeycomb: 비디오 월드 모델을 위한 고정 크기 씬 메모리 표현
Honeycomb: Constant-Size Scene Memory Representation for Video World Models
비디오 월드 모델(video world model)은 장기(long-horizon) 비디오 생성 과정에서 일관성을 유지하기 위해 지속적인 씬 메모리(scene memory)를 필요로 합니다. 기존의 공간 메모리는 RGB 관측치나 잠재 특징(latent feature)을 누적하므로 생성이 진행됨에 따라 저장 공간 요구량이 증가합니다. 본 논문에서는 총 6개의 공간 및 시공간 평면을 갖는 고정 크기 메모리에 씬 특징을 저장하기 위해 제안된 저순위(low-rank) 표현인 HexMemory를 기반으로 구축된 비디오 월드 모델 Honeycomb을 소개합니다. 피드포워드 방식의 기록기(writer)는 생성된 각 청크(chunk)를 새로운 평면 특징으로 매핑합니다. 공간적 범위나 시간적 범위가 확장됨에 따라, 이전 평면의 차원을 유지하면서 워핑(warping)한 뒤 신뢰도 가중 풀링(confidence-weighted pooling) 및 학습된 잔차 보정(residual correction)을 통해 새로운 특징과 융합합니다. 판독기(reader)는 HexMemory에서 잠재 변수(latent)를 검색하여 후속 비디오 생성의 조건으로 사용합니다. 기록기는 새 청크의 관측치만 처리하므로 씬별 최적화와 전체 이력에 대한 반복 처리를 피할 수 있습니다. WorldScore 및 RealEstate10K 데이터셋에서의 실험을 통해, 생성 과정 전반에 걸쳐 HexMemory 특징 저장 용량을 일정하게 유지하면서도 우수한 비디오 생성 품질과 견고한 재방문(revisit) 일관성을 보여줍니다. 코드와 추가 시각화 자료는 프로젝트 페이지(https://jackswl.github.io/honeycomb/)에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.