PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17310v2cs.CV

SierpinskiCam: 시에르핀스키 삼각형 패턴 단서를 활용한 카메라 제어 비디오 리테이킹

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

단안 비디오에서 사용자 정의 카메라 궤적을 따라 장면의 새로운 렌더링을 생성하는 것은 비디오 리테이킹(video retaking)이라 불리며, 콘텐츠 제작 및 시각 효과에서 매력적이지만 어려운 문제입니다. 기존의 기하학 기반 접근법은 원본 비디오에서 4D 표현을 재구성하고 목표 궤적을 따라 렌더링하여 비디오 디퓨전 모델을 조건화합니다. 그러나 이 가이던스는 목표 카메라가 원본 궤적에서 멀어질수록 저하되어, 새롭게 드러난 영역이 희소하거나 완전히 누락되는 결과를 낳습니다. 우리는 이러한 제한을 해결하기 위해 SierpinskiCam을 제안합니다. SierpinskiCam은 큰 시점 변화에서도 추적 가능한 풍부한 특징을 포함하는 시에르핀스키 돔 텍스처 단서로 기하학 기반 가이던스를 보강합니다. 또한, 우리는 원본 비디오 토큰을 목표 토큰 시퀀스에 추가하고 음의 RoPE 인덱스로 두 스트림을 분리하는 참조 비디오 조건화 메커니즘을 도입하여, 아키텍처 수정이나 비디오별 적응 없이 외관 그라운딩(appearance grounding)을 가능하게 합니다. 광범위한 실험을 통해 SierpinskiCam이 다양하고 도전적인 리테이킹 시나리오에서 카메라 제어 가능성, 기하학적 일관성, 비디오 품질 면에서 상당한 향상을 달성함을 보여줍니다. 프로젝트 페이지: https://hyelinnam.github.io/SierpinskiCam/.

arXiv:2610.15900v1cs.CV

Gen Through the Lens: 교차 좌표 조건 융합을 통한 카메라 제어 가능 비디오 생성

Gen Through the Lens: Camera-Controllable Video Generation via Cross-Coordinate Conditioning Fusion

우리는 주어진 참조 이미지로부터 비디오를 합성하면서 사실적이고 물리적으로 일관된 카메라 동작(camera operation)을 가능하게 하는 카메라 제어 가능 이미지-투-비디오(image-to-video) 생성 프레임워크인 Gen Through the Lens를 제시한다. 카메라 모션을 추상적인 조건화(conditioning)로 취급하거나 단일 좌표계에 의존하는 기존 모델들과 달리, 본 방법은 세 가지 좌표 공간, 즉 카메라 좌표(내부 파라미터로 모델링), 월드 좌표(공간 기하 힌트로 표현), 객체 좌표(대상 피사체의 3D 바운딩 박스로 기술)에 걸쳐 제어 신호를 명시적으로 분해하고 융합한다. 교차 좌표 조건 융합(cross-coordinate conditioning fusion)을 통해 이러한 이질적인 신호들이 생성 과정을 안내하도록 통합되어, 시간적 및 공간적 일관성을 유지하면서 카메라 모션, 초점, 프레이밍(framing)의 정밀한 제어를 가능하게 한다. 광범위한 실험을 통해 본 방법이 다양한 카메라 동작에서 제어 가능하고 시각적으로 일관된 결과를 생성하며, 사실성(realism)과 편집 가능성(editability) 모두에서 기존 접근법들을 능가함을 입증한다.

arXiv:2605.25077v2cs.CV

WorldCraft: 인터랙티브 비디오 월드 모델에서 카메라 내비게이션부터 객체 조작까지

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

최근의 비디오 월드 모델(world model)은 인터랙티브한 카메라 내비게이션을 가능하게 하지만, 개별 객체에 대한 제어는 제한적입니다. 본 연구에서는 시점 변화, 생성 청크, 일시적인 비가시성 구간 전반에 걸쳐 객체 궤적 행동이 유효하게 유지되어야 하는 자기회귀(autoregressive) 비디오 월드 모델에서의 지속적인 객체 상태 제어를 연구합니다. 이러한 환경은 자기회귀 메모리가 마지막으로 관찰된 객체 상태를 기록하는 반면 개입된 행동은 화면 밖에서 해당 상태를 업데이트할 수 있기 때문에 행동-메모리 충돌을 유발합니다. 저자들은 카메라 내비게이션과 객체 궤적 제어를 함께 결합한 최초의 카메라 내비게이션 가능 자기회귀 비디오 월드 모델인 WorldCraft를 제시합니다. 사용자가 선택한 객체와 2D 모션 경로가 주어지면, 정규화된 월드 궤적(Normalized World Trajectory, NWT)은 해당 경로를 정규화된 월드 좌표계에 고정하고 각 카메라 뷰로 투영하여 자기회귀 롤아웃(rollout) 전반에 걸쳐 일관된 객체-행동 신호를 생성합니다. 궤적 고정 상태 지속성(Trajectory-Anchored State Persistence, TASP)은 지속적인 NWT 가이던스와 선택적 메모리 갱신을 결합하여, 화면 밖 구간 및 재진입 과정에서도 행동으로 업데이트된 객체 상태를 유지합니다. 경로 선택적 LoRA는 사전학습된 카메라 컨트롤러를 유지하면서 객체 제어 기능을 도입합니다. WorldCraft는 정확하게 결합 가능한 카메라-객체 제어를 달성하며 카메라 충실도를 보존합니다. 나아가 화면 밖 궤적 지도(supervision) 없이도 타깃이 완전히 보이지 않는 확장된 구간 전반에서 행동으로 업데이트된 객체 상태를 유지함을 확인했습니다.

arXiv:2610.02180v1cs.CV

Generative Cinematographer: 3D에서의 카메라 및 객체 모션 구성

Generative Cinematographer: Composing Camera and Object Motion in 3D

현재의 제어 가능한 비디오 생성 시스템은 객체 모션을 표현하기 위해 2D 모션 궤적이나 희소한 드래그 신호에 의존하는 경우가 많습니다. 특히 카메라와 객체가 동시에 움직일 때 동일한 2D 궤적이 서로 다른 3D 모션에 대응될 수 있으므로 이러한 제어 방식은 모호성을 지닙니다. 본 연구에서는 단일 이미지를 편집 가능한 3D 장면 스캐폴드로 변환하여 아티스트가 카메라와 전경 모션을 함께 저작할 수 있는 시스템인 Generative Cinematographer(GenCine)를 제안합니다. 아티스트는 카메라 경로를 지정하고 국소 3D 모션 핸들을 사용하여 선택한 전경 영역을 이동시킬 수 있습니다. 여러 핸들을 통해 피사체의 서로 다른 부분을 독립적으로 움직일 수 있어, 물리 시뮬레이터나 범주별 사전 지식(prior) 없이도 비강체(non-rigid) 모션에 대한 구분적 강체(piecewise-rigid) 근사를 제공합니다. 이러한 제어를 사전학습된(pretrained) 비디오 모델에 전달하기 위해, 이를 가이던스 맵으로 투영합니다. 이 맵은 각 프레임에서 제어된 영역이 나타나는 위치를 기록하고, 프레임 전반에 걸쳐 각 핸들에 고정된 색상을 할당하며, 제어된 점들의 현재 3D 위치를 배경과 동일한 월드 좌표계로 인코딩합니다. 이를 통해 카메라가 움직이는 상황에서도 장면에 상대적인 객체 모션을 기술할 수 있습니다. 학습을 위해 실제 비디오에서 관찰된 모션으로부터 제어 신호를 복원하고, 합성 비디오의 정답(ground-truth) 지오메트리 및 궤적을 활용합니다. 우리는 사전학습된 Wan 모델에 경량 가이던스 브랜치와 LoRA 어댑터를 학습시켜 이러한 제어를 따르도록 합니다. 실험 결과, 시점 변화 속에서도 향상된 기하학적 일관성과 카메라 상대 모션의 일관성을 보였으며, 다양한 실제 장면 전반에서 강력한 제어 성능을 입증했습니다.

arXiv:2610.02162v1cs.CV

World Observer: 지속적인 월드 모델링을 위한 행위자-관찰자 결합 생성

World Observer: Joint Actor-Observer Generation for Persistent World Modeling

월드 모델(world model)은 행위자(actor)의 현재 시야를 벗어난 영역을 어떻게 지속적으로 관찰할 수 있을까요? 비디오 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지 시뮬레이션하지만, 여전히 행위자 중심적입니다. 물체가 행위자의 시야를 벗어나면 그 변화에 대한 직접적인 근거를 잃어버려, 다시 시야에 들어올 때 해당 물체의 상태와 역학(dynamics)을 유지하지 못하는 경우가 많습니다. 이를 해결하기 위해 본 논문에서는 에이전트 중심 시점을 위한 원근 행위자와 선택된 세계 영역을 지켜보는 하나 이상의 파노라마 관찰자를 결합하여 생성함으로써 관찰과 행동을 분리하는 World Observer를 제안합니다. 이를 통해 행위자의 시야를 벗어난 물체도 관찰자 시점 내에서 시각적으로 지속해서 변화할 수 있어, 다시 시야에 들어올 때 업데이트된 상태가 반영됩니다. 명시적인 기하학적 대응을 위해 공유된 파노라마 소스로부터 워핑하여 행위자와 관찰자를 그라운딩(grounding)하며, 재진입 시 미세한 외형을 복원하기 위해 고해상도 원근 참조의 Observer Sink를 도입합니다. 관찰자는 행위자와 분리되어 있으므로 장면에 자유롭게 배치할 수 있고, 더 넓은 범위를 커버하기 위해 여러 위치로 확장할 수 있으며, 제어 신호로 구동하여 시야 밖의 변화를 유도할 수도 있습니다. 시야 밖 변화를 평가하기 위해 월드 공간 지표와 실제 및 가상 장면을 아우르는 벤치마크를 추가로 도입합니다. World Observer는 시각적 충실도, 카메라 제어 및 3D 일관성에서 경쟁력을 유지하면서 시야 밖 역학을 크게 향상시킵니다.

arXiv:2610.02160v1cs.CV

4Director: 강체 3D 지오메트리를 활용한 비디오 월드 모델 제어

4Director: Controlling Video World Models with Rigid 3D Geometry

카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.

arXiv:2609.24208v1cs.CV

CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어

CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation

우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.

arXiv:2510.24904v2cs.CV

VividCam: 가상 합성 영상으로부터 비전통적 카메라 움직임 학습

VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos

최근 비디오 생성 모델은 텍스트 설명이나 카메라 궤적에 의해 부과되는 외부 카메라 제어를 더 잘 따르도록 발전하고 있지만, 진정으로 독창적이고 예술적인 영상을 만드는 데 중요한 비전통적 카메라 움직임으로 일반화하는 데는 여전히 어려움을 겪는다. 그 도전 과제는 의도한 드문 카메라 움직임을 담은 충분한 학습용 영상을 확보하는 데 있다. 이를 위해 우리는 VividCam을 제안한다. VividCam은 확산(diffusion) 모델이 합성 영상으로부터 복잡한 카메라 움직임을 학습할 수 있게 하는 학습 패러다임으로, 현실적인 학습용 영상 수집에 대한 의존을 줄인다. VividCam은 여러 분리(disentanglement) 전략을 포함하여 카메라 움직임 학습을 합성 외관 아티팩트로부터 분리하고, 더 견고한 움직임 표현을 보장하며 도메인 시프트(domain shift)를 완화한다. 우리는 제안 설계가 놀랍도록 단순한 합성 데이터만으로도 넓은 범위의 정밀하게 제어된 카메라 움직임을 합성할 수 있음을 보인다. 특히 이러한 합성 데이터는 종종 low-poly 3D 씬 내 기본 기하 형상으로 구성되며 Unity와 같은 엔진으로 효율적으로 렌더링할 수 있다. 영상 결과는 https://wuqiuche.github.io/VividCamDemoPage/ 에서 확인할 수 있다.

arXiv:2607.24591v1cs.CV

CameraAnything: 임의의 카메라 제어로 비디오 재촬영

CameraAnything: Refilming Videos with Arbitrary Camera Control

CameraAnything을 소개한다. 이는 내부 및 외부 카메라 매개변수를 모두 공동으로 제어할 수 있는, 카메라 제어 비디오 편집을 위한 최초의 통합 프레임워크이다. 기존 접근법은 완전한 카메라 기능을 달성하기 위해 비용이 큰 3D 재구성(reconstruction)에 의존하거나, 편집을 외부 매개변수 조작으로 제한한다. 또한 내부 및 외부 매개변수가 비디오 외관에 미치는 결합된 영향으로 인해 분리(disentangled) 모델링이 특히 어렵다. 이를 해결하기 위해, 셀프 어텐션(self-attention)에서 해상도 인식(resolution-aware) 3D RoPE와 함께 픽셀 단위 Plücker 광선 주입(per-pixel Plücker ray injection)을 채택하고, 대상 잠재(latent) 표현 위에 카메라 조건화(camera conditioning)와 공간적 위치 인코딩(spatial positional encoding)을 모두 구축하여 크롭(cropping)이나 아웃페인팅(outpainting) 없이 카메라 위치, 초점 거리(focal length), 네이티브 해상도 편집을 공동으로 제어한다. 쌍(pair) 학습 데이터의 부족을 극복하기 위해, 구조화된 다중 카메라 녹화를 통해 다양한 동적 장면을 구성하고 다양한 카메라 구성의 동기화된 비디오를 생성하는 확장 가능한 합성 파이프라인을 추가로 개발한다. 맞춤형 직교(orthogonal) 학습 전략을 통해 CameraAnything은 단일 생성 과정 내에서 임의의 시점(viewpoint) 제어, 초점 거리 조정, 해상도 적응, 멀티샷(multi-shot) 전환을 포함한 표현력 있는 비디오 재촬영(reshooting)을 가능하게 하며, 영화적 비디오 편집 및 비디오 제작에서의 크로스 플랫폼 콘텐츠 적응에 강한 실용적 가치를 제공한다.

arXiv:2607.02798v1cs.CV

노이즈를 추적하고, 세계를 움직여라: 제어 가능한 비디오 생성을 위한 3D 기반 모션 일관성 노이즈

Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation

현대의 이미지-텍스트-비디오 확산 모델은 참조 이미지와 텍스트 입력을 조건으로 초기 가우시안 노이즈 텐서를 반복적으로 노이즈 제거하여 매우 사실적인 비디오를 합성할 수 있다. 그러나 기존 접근법들은 단일 생성 프로세스 내에서 객체 모션과 카메라 모션 모두에 대한 정밀하고 통합된 제어 가능성이 여전히 부족하다. 우리는 확산 모델의 입력 노이즈를 직접 구성하여 객체 궤적과 카메라 시점을 동시에 제어할 수 있는 통합 프레임워크인 UniCaMo를 제안한다. 구체적으로, UniCaMo는 잠재 비디오 프레임 전체에 걸쳐 공유된 3D 기반 모션 일관성 노이즈 공간을 구축한다. 희소 3D 포인트 트랙을 사용하여 참조 프레임의 가우시안 노이즈를 원하는 객체 궤적을 따라 워핑하며, 가상 구면 노이즈 표현은 카메라 모션에 따라 새롭게 드러나는 장면 영역에 대해 전역적으로 일관된 노이즈 값을 제공한다. 지역적인 트랙 기반 노이즈 워핑과 전역적인 구면 기반 노이즈 샘플링을 결합함으로써, UniCaMo는 객체 이동과 시점 변화 모두에서 기하학적 및 시간적 일관성을 유지한다. UniCaMo는 입력 노이즈만을 수정하기 때문에 기반 비디오 확산 모델에 보조 어댑터, 제어 브랜치, 또는 아키텍처 변경이 필요하지 않다. Wan 2.1 (14B)을 포함한 대규모 사전학습 비디오 확산 모델에 경량 LoRA 미세조정을 적용하여, UniCaMo는 표준 제어 가능한 비디오 생성 벤치마크에서 비디오 품질과 모션 제어 가능성 모두에서 최고 성능을 달성한다.

arXiv:2607.02712v1cs.CV

정규화된 객체 좌표 공간에서 생성적 시점 합성을 위한 전역 포즈 제어

Global Pose Control for Generative View Synthesis in Normalized Object Coordinate Space

새로운 시점 합성(NVS, Novel View Synthesis)은 단일 또는 다수의 이미지로부터 장면의 보이지 않는 시점을 생성하여, 사용자가 임의의 시점에서 객체를 자유롭게 탐색할 수 있게 한다. 이 작업을 위한 생성 모델의 최근 인상적인 질적 향상에도 불구하고, 기존 방법들은 입력 상대적 카메라 포즈를 사용하거나 희소한 전역 시점 생성에 제한되어 있어 목표 시점의 전역적이고 직관적인 제어를 제공하는 데 어려움을 겪는다. 이러한 전역 포즈 제어의 부재는 NVS가 잠재적으로 가능하게 할 수 있는 다운스트림 작업의 수를 심각하게 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 또는 소수의 포즈 없는(unposed) 이미지를 입력으로 요구하는, 사용자 정의 가능한 정규화된 객체 좌표 공간(NOCS, Normalized Object Coordinate Space)에서의 정밀한 카메라 제어를 위한 새로운 접근 방식을 제안한다. 우리의 방법은 NOCS에서 목표 시점의 절대 카메라 포즈만을 사용하여 동작하며, 상대적 세계 프레임이나 입력 이미지의 카메라 포즈를 필요로 하지 않는다. NVS를 독립적인 생성 작업으로 처리하는 이전 방법들과 달리, 우리는 이를 이미지 편집 문제로 공식화하고 최첨단 편집 모델을 기반으로 구축하여 그 우수한 일반화 능력을 활용한다. 카메라 정보는 문맥 내 멀티모달 컨디셔닝(in-context multi-modal conditioning) 전략을 통해 전용 카메라 토큰으로 주입된다. NOCS의 고유한 모호성을 완화하기 위해, 객체의 정준 좌표 프레임(canonical coordinate frame)을 명시적으로 정의하는 텍스트 설명을 통합하며, 이는 보이지 않는 객체 카테고리로의 일반화도 향상시킨다. 또한, 우리는 일관되게 정렬된 방향과 해당 NOCS 텍스트 정의를 갖춘 고품질 데이터셋을 구축한다. 광범위한 실험을 통해 우리의 방법이 다양한 카테고리에 걸쳐 임의의 포즈 없는 이미지로부터 정확하고 일관된 방향으로 새로운 시점을 강건하게 생성하며, 최첨단 이미지 품질과 충실도를 달성함을 입증한다.

arXiv:2512.09112v3cs.CV

GimbalDiffusion: Gravity-Aware Camera Control for Video Generation

GimbalDiffusion은 중력 방향을 전역 기준으로 삼는 절대 좌표계 기반 카메라 제어 프레임워크로, 360° 파노라마 영상을 학습 데이터로 활용해 기존 방법이 처리하지 못한 극단적인 피치·롤 회전을 포함한 다양한 카메라 궤적을 텍스트-비디오 생성 모델에 적용한다. 또한 프롬프트 내용과 카메라 방향의 충돌을 방지하는 null-pitch conditioning 기법과 극단적 카메라 앵글 및 프롬프트-카메라 얽힘(entanglement)을 평가하는 새로운 벤치마크를 제안한다.

arXiv:2606.27964v1cs.CV

세계 연출: 구성적 인간-카메라 제어를 통한 빠른 자기회귀 비디오 생성

Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control

상호작용적 세계 모델(world model)을 구축하려면 장기 구간(long horizon)에 걸쳐 제어 가능한 동역학을 유지하면서 사실적인 비디오를 생성해야 한다. 자기회귀적(autoregressive) 비디오 생성은 확장 가능한 기반을 제공하지만, 긴 롤아웃 동안 오류 누적과 시간적 품질 저하에 시달린다. 이 문제는 인간 동작과 카메라 궤적과 같은 이질적(heterogeneous) 제어 하에서 더욱 악화되며, 이러한 제어는 서로 간섭하여 사전학습(pre-training)된 비디오 사전(prior)을 불안정하게 만들 수 있고, 기존 방법들은 종종 제어 가능성과 시각적 품질 사이에서 트레이드오프를 한다. 우리는 구성적(compositional) 인간 동작 및 카메라 궤적 제어를 갖춘 제어 가능한 세계 모델 비디오 생성을 위한 빠른 자기회귀 프레임워크인 "Directing the World"를 제안한다. 핵심 아이디어는 통합된 자기회귀 비디오 사전을 유지하면서 제어 학습을 분리(decouple)하는 것이다. 장기 구간 롤아웃 학습을 안정화하고 수렴을 개선하기 위해 Fast-Slow Memory 학습(training) 전략을 도입한다. 인간 동작 제어를 위해 t-guided Dynamic Projection 메커니즘과 정교화된 Motion-CFG 전략을 설계하여, 시각적 충실도(visual fidelity)를 저하시키지 않으면서 시간적으로 부드럽고 정확한 동작 정렬(motion alignment)을 가능하게 하고 다인(multi-person) 제어를 지원한다. 견고한 동작 사전을 학습한 후, 일관된 세계 탐험(exploration)을 위해 인간 동역학과 시점(viewpoint) 변화를 구성(composition)하는 2단계 카메라 궤적 제어 모듈을 도입한다. 또한 분리된 학습을 위해 동작 중심(motion-centric) 및 카메라 중심(camera-centric) 부분집합으로 구성된, 동기화된 비디오, 텍스트, 인간 동작, 카메라 궤적 주석이 포함된 대규모 데이터셋(dataset)을 구축한다. 광범위한 실험은 정밀한 제어 가능성과 높은 시각적 품질을 갖춘 안정적인 장기 구간 생성을 보여준다. 자세한 내용은 https://whydahuzi.github.io/Directing-the-World.github.io/ 에서 확인할 수 있다.

arXiv:2604.17565v4cs.CV

UniGeo: 비디오 모델을 통한 카메라 제어 이미지 편집을 위한 기하적 가이던스 통합

UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models

연속적인 카메라 움직임에서 기하적 드리프트와 구조 퇴화를 일으키는 분절된 기하 가이던스 한계를, 비디오 모델의 연속 시점 prior와 표현·아키텍처·손실 함수 세 수준에 걸친 통합 기하 가이던스를 주입하는 UniGeo로 해결한다. 여러 공개 벤치마크의 광범위·제한적 카메라 움직임 설정에서 시각적 품질과 기하적 일관성 모두에서 기존 방법을 크게 능가한다.

arXiv:2604.03723v4cs.CV

SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation

Controlling both camera motion and object dynamics is essential for coherent and expressive video generation, yet current methods typically handle only one motion type or rely on ambiguous 2D cues that entangle camera-induced parallax with true object movement. We present SymphoMotion, a unified motion-control framework that jointly governs camera trajectories and object dynamics within a single model. SymphoMotion features a Camera Trajectory Control mechanism that integrates explicit camera paths with geometry-aware cues to ensure stable, structurally consistent viewpoint transitions, and an Object Dynamics Control mechanism that combines 2D visual guidance with 3D trajectory embeddings to enable depth-aware, spatially coherent object manipulation. To support large-scale training and evaluation, we further construct RealCOD-25K, a comprehensive real-world dataset containing paired camera poses and object-level 3D trajectories across diverse indoor and outdoor scenes, addressing a key data gap in unified motion control. Extensive experiments and user studies show that SymphoMotion significantly outperforms existing methods in visual fidelity, camera controllability, and object-motion accuracy, establishing a new benchmark for unified motion control in video generation. Codes and data are publicly available at https://grenoble-zhang.github.io/SymphoMotion/.

arXiv:2606.22835v1cs.CV

OrthoMotion: 기하-의미 직교 어텐션을 통한 카메라와 피사체 움직임 분리

OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention

제어 가능한 비디오 생성은 카메라와 피사체를 독립적으로 제어할 수 있어야 하지만, 2D 조건화는 둘을 얽게 만든다. 카메라와 객체에 의해 유발된 광류(optical flow)는 동일한 역깊이(1/Z) 스케일링을 공유하며, 이미지 증거만으로는 분리할 수 없다. 우리는 먼저 이러한 얽힘은 구조적이 아니라 표현상의 문제임을 — 2D 카메라/객체 분리가 식별 불가능한 역문제라는 점을 통해 — 증명하고, 따라서 분리 문제를 연산자 설계의 문제로 재구성한다. 이를 어텐션 연산자 수준에서 해결한다. OrthoMotion은 카메라 움직임을 기하 채널 — 로터리 위치 임베딩(RoPE) 위상의 노름 보존 회전 — 으로, 피사체 움직임을 의미 채널 — 교차 어텐션에서의 게이트된 값 주입 — 으로 라우팅한다. 이 하위 연산자들은 대수적으로 상보적 — 토큰에 대한 아핀 작용의 회전 대 변환 — 이므로, 경량 분리 정규화项가 두 응답 부공간의 직교성을 확실히 유도하여 두 제어가 서로 간섭하지 않게 한다. 우리가 아는 한 OrthoMotion은 분리가 창발적으로 나타나기를 기대하는 대신 설계상 보장하는 최초의 방법이다. 새로운 Cross-Talk Error(CTE) 지표로 교차 간섭(cross-talk)을 정량화하면서, 교차 간섭을 2.4배 이상 줄이고 충실도 저하 없이 카메라와 피사체 정확도 모두에서 최신(state-of-the-art) 수준을 달성하며, 다양한 백본(backbone)에 일반화된다.

arXiv:2606.20774v1cs.CV

TriMotion: 비디오 생성을 위한 모달리티 무관 카메라 제어

TriMotion: Modality-Agnostic Camera Control for Video Generation

카메라 모션 제어는 생성형 시스템에서 시점 변화를 지시하는 데 필수적이다. 그러나 기존 방법들은 일반적으로 생성 과정을 명시적 포즈(pose) 궤적이나 참조 비디오와 같은 단일 특정 모달리티에 조건화하여, 이질적인 사용자 입력을 지원하는 능력을 제한한다. 이 한계를 해결하기 위해, 동일한 카�mera 궤적을 설명하는 비디오, 포즈, 텍스트 입력을 공유 모션 임베딩(motion embedding) 공간에 매핑하는 모달리티 무관 카메라 제어 비디오 생성 프레임워크 TriMotion을 제시한다. 이러한 공간을 학습하려면 모달리티 간 동기화된 감독(supervision)이 필요하다. 따라서 Multi-Cam Video 데이터셋을 카메라 외부 파라미터(camera extrinsics)에서 유도된 기하학 기반(gr geometry-grounded) 모션 설명으로 확장하여 Motion Triplet 데이터셋을 구축한다. 또한 모션 임베딩 공간을 활용하여 생성된 비디오가 잠재 공간(latent space)에서 직접 목표 카메라 궤적을 따르도록 유도하고, 픽셀 공간 디코딩 비용을 피하는 잠재 모션 일관성(latent motion consistency) 목적 함수를 도입한다. 광범위한 실험 결과, TriMotion은 세 가지 모달리티 모두에서 목표 카메라 궤적을 정확히 따르는 고품질 비디오를 생성함을 보여준다. 표준 생성을 넘어, 공유 모션 임베딩 공간은 순차적 모션 합성(sequential motion composition) 및 교차 모달 모션 보간(cross-modal motion interpolation)과 같은 유연한 응용도 가능하게 한다.

arXiv:2606.13768v2cs.CV

CineOrchestra: 시네마틱 비디오 생성을 위한 통합 엔티티 중심 컨디셔닝

CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation

시네마틱 비디오는 특정 순간에 행동하거나 상호작용하는 여러 주체를 묘사하며, 의도적인 카메라 움직임으로 촬영되고 샷 전환(shot transitions)을 통해 연결됩니다. 이러한 요소들은 현재의 텍스트-투-비디오(text-to-video) 모델을 넘어서는 수준의 미세한 제어(fine-grained control)를 요구합니다. 기존 연구는 다중 주체 개인화, 시간적 제어, 다중 샷 합성, 또는 카메라 제어와 같이 각 축(axis)을 개별적으로 다루었으며, 네 가지를 모두 통합적으로 결합한 이전 프레임워크는 없습니다. 우리는 주체, 이벤트, 카메라, 샷 전환을 동시에 제어하는 통합 비디오 디퓨전 모델인 CineOrchestra를 제안합니다. 우리의 핵심 통찰은 이러한 이질적인 시네마틱 요소들이 기본 구조를 공유한다는 것입니다. 즉, 각 요소는 특정 시간 간격(temporal interval) 동안 작용하는 엔티티(entity)이므로, 시각적 엔티티를 위한 참조 이미지로 보강된 엔티티 중심 컨디셔닝 프리미티브(primitives)의 하나의 공유 구조를 통해 모두 표현될 수 있습니다. 이 공식화를 통해 아키텍처적 문제를 단일 위치 인코딩(positional encoding) 문제로 축소하였으며, 이를 매개변수가 없는 두 개의 조정된 회전 임베딩(rotary embeddings)으로 해결했습니다: (a) 지속 시간이 급격하게 변하는 이벤트 간에 일관된 어텐션(attention) 동작을 생성하는 간격 샘플링 시간적 RoPE, (b) 엔티티별 조건을 명확히 하고 각 조건을 해당하는 시공간 영역으로 라우팅하는 2D 엔티티-시간 크로스 어텐션 RoPE. 두 개의 새로운 벤치마크(benchmarks)에서 CineOrchestra는 밀집 캡션(dense caption) 추종 및 샷 전환 타이밍 측면에서 6개의 축별 전문가(per-axis specialists)를 능가했으며, 쌍대 비교 사용자 연구(pairwise user study) 및 구성 요소 제거 실험(component ablations)에서도 일관된 이득을 보였습니다. 프로젝트 페이지: https://snap-research.github.io/CineOrchestra

arXiv:2606.13432v1cs.CV

OmniDirector: 교차 쌍 데이터 없는 범용 멀티샷 카메라 클로닝

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

참조 비디오에서 카메라 동작을 복제하는 것은 비디오 생성에서 중요한 과제로, 비디오는 직관적이고 정밀한 제어를 제공합니다. 기존 방법들은 멀티샷 생성을 처리하지 못하는 파라메트릭 표현을 직접 사용하거나 교차 쌍 데이터를 합성하는데, 이는 데이터 희소성 문제로 인해 복잡한 카메라 동작 클로닝에서 성능이 저하됩니다. 이러한 문제를 해결하기 위해, 카메라를 그리드 모션 비디오로 인코딩하는 범용 카메라 동작 표현을 제안합니다. 이 카메라 그리드는 카메라 파라미터를 시각적으로 표현하며 멀티샷 비디오 생성을 위한 다양한 궤적의 통합을 지원합니다. 이를 기반으로, 백만 규모의 카메라 그리드-비디오 쌍으로 학습된 통합 프레임워크인 OmniDirector를 제안합니다. OmniDirector는 캐릭터, 동작, 카메라를 조율하여 멀티모달 확산 트랜스포머(multimodal diffusion transformers)에 감독 수준의 제어를 제공합니다. 또한, 신호 간 관계를 이해하여 카메라 동작과 시각적 콘텐츠를 체계적으로 기술함으로써 서로 다른 제어 신호를 조화롭게 통합하는 새로운 계층적 프롬프트 확장 에이전트를 설계합니다. 광범위한 실험을 통해 본 프레임워크의 우수한 성능과 뛰어난 제어 가능성을 입증합니다. 프로젝트 페이지: https://ymlinfeng.github.io/OmniDirector.github.io/