PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02160v1cs.CV

4Director: 강체 3D 지오메트리를 활용한 비디오 월드 모델 제어

4Director: Controlling Video World Models with Rigid 3D Geometry

카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.