VividCam: 가상 합성 영상으로부터 비전통적 카메라 움직임 학습
VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos
한국어 초록
최근 비디오 생성 모델은 텍스트 설명이나 카메라 궤적에 의해 부과되는 외부 카메라 제어를 더 잘 따르도록 발전하고 있지만, 진정으로 독창적이고 예술적인 영상을 만드는 데 중요한 비전통적 카메라 움직임으로 일반화하는 데는 여전히 어려움을 겪는다. 그 도전 과제는 의도한 드문 카메라 움직임을 담은 충분한 학습용 영상을 확보하는 데 있다. 이를 위해 우리는 VividCam을 제안한다. VividCam은 확산(diffusion) 모델이 합성 영상으로부터 복잡한 카메라 움직임을 학습할 수 있게 하는 학습 패러다임으로, 현실적인 학습용 영상 수집에 대한 의존을 줄인다. VividCam은 여러 분리(disentanglement) 전략을 포함하여 카메라 움직임 학습을 합성 외관 아티팩트로부터 분리하고, 더 견고한 움직임 표현을 보장하며 도메인 시프트(domain shift)를 완화한다. 우리는 제안 설계가 놀랍도록 단순한 합성 데이터만으로도 넓은 범위의 정밀하게 제어된 카메라 움직임을 합성할 수 있음을 보인다. 특히 이러한 합성 데이터는 종종 low-poly 3D 씬 내 기본 기하 형상으로 구성되며 Unity와 같은 엔진으로 효율적으로 렌더링할 수 있다. 영상 결과는 https://wuqiuche.github.io/VividCamDemoPage/ 에서 확인할 수 있다.
원문 초록
Although recent video generative models are getting more capable of following external camera controls, imposed by either text descriptions or camera trajectories, they still struggle to generalize to unconventional camera motions, which is crucial in creating truly original and artistic videos. The challenge lies in finding sufficient training videos with the intended uncommon camera motions. To this end, we propose VividCam, a training paradigm that enables diffusion models to learn complex camera motions from synthetic videos, releasing the reliance on collecting realistic training videos. VividCam incorporates multiple disentanglement strategies that isolate camera motion learning from synthetic appearance artifacts, ensuring more robust motion representation and mitigating domain shift. We show that our design synthesizes a wide range of precisely controlled camera motions using surprisingly simple synthetic data. Notably, this synthetic data often consists of basic geometries within a low-poly 3D scene and can be efficiently rendered by engines like Unity. Our video results can be found in https://wuqiuche.github.io/VividCamDemoPage/ .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.24904v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Gen Through the Lens: 교차 좌표 조건 융합을 통한 카메라 제어 가능 비디오 생성
Gen Through the Lens: Camera-Controllable Video Generation via Cross-Coordinate Conditioning Fusion
우리는 주어진 참조 이미지로부터 비디오를 합성하면서 사실적이고 물리적으로 일관된 카메라 동작(camera operation)을 가능하게 하는 카메라 제어 가능 이미지-투-비디오(image-to-video) 생성 프레임워크인 Gen Through the Lens를 제시한다. 카메라 모션을 추상적인 조건화(conditioning)로 취급하거나 단일 좌표계에 의존하는 기존 모델들과 달리, 본 방법은 세 가지 좌표 공간, 즉 카메라 좌표(내부 파라미터로 모델링), 월드 좌표(공간 기하 힌트로 표현), 객체 좌표(대상 피사체의 3D 바운딩 박스로 기술)에 걸쳐 제어 신호를 명시적으로 분해하고 융합한다. 교차 좌표 조건 융합(cross-coordinate conditioning fusion)을 통해 이러한 이질적인 신호들이 생성 과정을 안내하도록 통합되어, 시간적 및 공간적 일관성을 유지하면서 카메라 모션, 초점, 프레이밍(framing)의 정밀한 제어를 가능하게 한다. 광범위한 실험을 통해 본 방법이 다양한 카메라 동작에서 제어 가능하고 시각적으로 일관된 결과를 생성하며, 사실성(realism)과 편집 가능성(editability) 모두에서 기존 접근법들을 능가함을 입증한다.
PhysForge: 분리 가능한 컴포넌트를 활용한 재질 제어 가능 3D 재구성
PhysForge: Material-Controllable 3D Reconstruction with Separable Components
물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
DAGS: 시간적으로 안정화된 생성형 렌더링을 위한 동결된 이미지 DiT의 외형 및 기하학 분리 조향
DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
4Director: 강체 3D 지오메트리를 활용한 비디오 월드 모델 제어
4Director: Controlling Video World Models with Rigid 3D Geometry
카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.
World Observer: 지속적인 월드 모델링을 위한 행위자-관찰자 결합 생성
World Observer: Joint Actor-Observer Generation for Persistent World Modeling
월드 모델(world model)은 행위자(actor)의 현재 시야를 벗어난 영역을 어떻게 지속적으로 관찰할 수 있을까요? 비디오 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지 시뮬레이션하지만, 여전히 행위자 중심적입니다. 물체가 행위자의 시야를 벗어나면 그 변화에 대한 직접적인 근거를 잃어버려, 다시 시야에 들어올 때 해당 물체의 상태와 역학(dynamics)을 유지하지 못하는 경우가 많습니다. 이를 해결하기 위해 본 논문에서는 에이전트 중심 시점을 위한 원근 행위자와 선택된 세계 영역을 지켜보는 하나 이상의 파노라마 관찰자를 결합하여 생성함으로써 관찰과 행동을 분리하는 World Observer를 제안합니다. 이를 통해 행위자의 시야를 벗어난 물체도 관찰자 시점 내에서 시각적으로 지속해서 변화할 수 있어, 다시 시야에 들어올 때 업데이트된 상태가 반영됩니다. 명시적인 기하학적 대응을 위해 공유된 파노라마 소스로부터 워핑하여 행위자와 관찰자를 그라운딩(grounding)하며, 재진입 시 미세한 외형을 복원하기 위해 고해상도 원근 참조의 Observer Sink를 도입합니다. 관찰자는 행위자와 분리되어 있으므로 장면에 자유롭게 배치할 수 있고, 더 넓은 범위를 커버하기 위해 여러 위치로 확장할 수 있으며, 제어 신호로 구동하여 시야 밖의 변화를 유도할 수도 있습니다. 시야 밖 변화를 평가하기 위해 월드 공간 지표와 실제 및 가상 장면을 아우르는 벤치마크를 추가로 도입합니다. World Observer는 시각적 충실도, 카메라 제어 및 3D 일관성에서 경쟁력을 유지하면서 시야 밖 역학을 크게 향상시킵니다.
Generative Cinematographer: 3D에서의 카메라 및 객체 모션 구성
Generative Cinematographer: Composing Camera and Object Motion in 3D
현재의 제어 가능한 비디오 생성 시스템은 객체 모션을 표현하기 위해 2D 모션 궤적이나 희소한 드래그 신호에 의존하는 경우가 많습니다. 특히 카메라와 객체가 동시에 움직일 때 동일한 2D 궤적이 서로 다른 3D 모션에 대응될 수 있으므로 이러한 제어 방식은 모호성을 지닙니다. 본 연구에서는 단일 이미지를 편집 가능한 3D 장면 스캐폴드로 변환하여 아티스트가 카메라와 전경 모션을 함께 저작할 수 있는 시스템인 Generative Cinematographer(GenCine)를 제안합니다. 아티스트는 카메라 경로를 지정하고 국소 3D 모션 핸들을 사용하여 선택한 전경 영역을 이동시킬 수 있습니다. 여러 핸들을 통해 피사체의 서로 다른 부분을 독립적으로 움직일 수 있어, 물리 시뮬레이터나 범주별 사전 지식(prior) 없이도 비강체(non-rigid) 모션에 대한 구분적 강체(piecewise-rigid) 근사를 제공합니다. 이러한 제어를 사전학습된(pretrained) 비디오 모델에 전달하기 위해, 이를 가이던스 맵으로 투영합니다. 이 맵은 각 프레임에서 제어된 영역이 나타나는 위치를 기록하고, 프레임 전반에 걸쳐 각 핸들에 고정된 색상을 할당하며, 제어된 점들의 현재 3D 위치를 배경과 동일한 월드 좌표계로 인코딩합니다. 이를 통해 카메라가 움직이는 상황에서도 장면에 상대적인 객체 모션을 기술할 수 있습니다. 학습을 위해 실제 비디오에서 관찰된 모션으로부터 제어 신호를 복원하고, 합성 비디오의 정답(ground-truth) 지오메트리 및 궤적을 활용합니다. 우리는 사전학습된 Wan 모델에 경량 가이던스 브랜치와 LoRA 어댑터를 학습시켜 이러한 제어를 따르도록 합니다. 실험 결과, 시점 변화 속에서도 향상된 기하학적 일관성과 카메라 상대 모션의 일관성을 보였으며, 다양한 실제 장면 전반에서 강력한 제어 성능을 입증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.