arXiv:2407.17470

SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency

Yiming Xie, Chun-Han Yao, Vikram Voleti, Huaizu Jiang, Varun Jampani

제출 2024-07-24

원문 초록

We present Stable Video 4D (SV4D), a latent video diffusion model for multi-frame and multi-view consistent dynamic 3D content generation. Unlike previous methods that rely on separately trained generative models for video generation and novel view synthesis, we design a unified diffusion model to generate novel view videos of dynamic 3D objects. Specifically, given a monocular reference video, SV4D generates novel views for each video frame that are temporally consistent. We then use the generated novel view videos to optimize an implicit 4D representation (dynamic NeRF) efficiently, without the need for cumbersome SDS-based optimization used in most prior works. To train our unified novel view video generation model, we curated a dynamic 3D object dataset from the existing Objaverse dataset. Extensive experimental results on multiple datasets and user studies demonstrate SV4D's state-of-the-art performance on novel-view video synthesis as well as 4D generation compared to prior works.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11673v2cs.CV공통 태그 Novel View Synthesis, Video Generation, NeRF

ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델

ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.

arXiv:2610.15807v1cs.CV공통 태그 Novel View Synthesis, Video Generation

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

arXiv:2610.13706v1cs.CV공통 태그 Novel View Synthesis, Video Generation

GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.

arXiv:2610.13757v1cs.CV공통 태그 Novel View Synthesis, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2609.34221v2cs.CV공통 태그 Novel View Synthesis, Video Generation

WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장

WorldWeave: Growing Persistent Geometric Worlds for Video Generation

급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.

arXiv:2610.02726v1cs.CV공통 태그 Novel View Synthesis, Video Generation

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.