Video Autoencoder: self-supervised disentanglement of static 3D structure and motion
원문 초록
A video autoencoder is proposed for learning disentan- gled representations of 3D structure and camera pose from videos in a self-supervised manner. Relying on temporal continuity in videos, our work assumes that the 3D scene structure in nearby video frames remains static. Given a sequence of video frames as input, the video autoencoder extracts a disentangled representation of the scene includ- ing: (i) a temporally-consistent deep voxel feature to represent the 3D structure and (ii) a 3D trajectory of camera pose for each frame. These two representations will then be re-entangled for rendering the input video frames. This video autoencoder can be trained directly using a pixel reconstruction loss, without any ground truth 3D or camera pose annotations. The disentangled representation can be applied to a range of tasks, including novel view synthesis, camera pose estimation, and video generation by motion following. We evaluate our method on several large- scale natural video datasets, and show generalization results on out-of-domain images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅
ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models
자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.
STEER: 조향 가능한 대화형 헤드 아바타
STEER: Steerable Dyadic Head Avatars
얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
PhysForge: 분리 가능한 컴포넌트를 활용한 재질 제어 가능 3D 재구성
PhysForge: Material-Controllable 3D Reconstruction with Separable Components
물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱
GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models
카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.
WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장
WorldWeave: Growing Persistent Geometric Worlds for Video Generation
급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.