arXiv:2605.25077v2 cs.CV

WorldCraft: 인터랙티브 비디오 월드 모델에서 카메라 내비게이션부터 객체 조작까지

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

Bohai Gu, Taiyi Wu, Yueyang Yuan, Jian Liu, Xiaocheng Lu, Dazhao Du, Jie Zhang, Jinxiang Lai, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

제출 2026-05-24

저자 비고

arXiv Comments

Project page: https://nevsnev.github.io/WorldCraft/

한국어 초록

최근의 비디오 월드 모델(world model)은 인터랙티브한 카메라 내비게이션을 가능하게 하지만, 개별 객체에 대한 제어는 제한적입니다. 본 연구에서는 시점 변화, 생성 청크, 일시적인 비가시성 구간 전반에 걸쳐 객체 궤적 행동이 유효하게 유지되어야 하는 자기회귀(autoregressive) 비디오 월드 모델에서의 지속적인 객체 상태 제어를 연구합니다. 이러한 환경은 자기회귀 메모리가 마지막으로 관찰된 객체 상태를 기록하는 반면 개입된 행동은 화면 밖에서 해당 상태를 업데이트할 수 있기 때문에 행동-메모리 충돌을 유발합니다. 저자들은 카메라 내비게이션과 객체 궤적 제어를 함께 결합한 최초의 카메라 내비게이션 가능 자기회귀 비디오 월드 모델인 WorldCraft를 제시합니다. 사용자가 선택한 객체와 2D 모션 경로가 주어지면, 정규화된 월드 궤적(Normalized World Trajectory, NWT)은 해당 경로를 정규화된 월드 좌표계에 고정하고 각 카메라 뷰로 투영하여 자기회귀 롤아웃(rollout) 전반에 걸쳐 일관된 객체-행동 신호를 생성합니다. 궤적 고정 상태 지속성(Trajectory-Anchored State Persistence, TASP)은 지속적인 NWT 가이던스와 선택적 메모리 갱신을 결합하여, 화면 밖 구간 및 재진입 과정에서도 행동으로 업데이트된 객체 상태를 유지합니다. 경로 선택적 LoRA는 사전학습된 카메라 컨트롤러를 유지하면서 객체 제어 기능을 도입합니다. WorldCraft는 정확하게 결합 가능한 카메라-객체 제어를 달성하며 카메라 충실도를 보존합니다. 나아가 화면 밖 궤적 지도(supervision) 없이도 타깃이 완전히 보이지 않는 확장된 구간 전반에서 행동으로 업데이트된 객체 상태를 유지함을 확인했습니다.

원문 초록

Recent video world models enable interactive camera navigation but provide limited control over individual objects. We study persistent object-state control in autoregressive video world models, where an object-trajectory action must remain effective across viewpoint changes, generation chunks, and intervals of temporary invisibility. This setting introduces an action-memory conflict because autoregressive memory records the last observed object state, whereas an intervening action may update that state off-screen. We present WorldCraft, the first camera-navigable autoregressive video world model to jointly compose camera navigation and object-trajectory control. Given a user-selected object and a 2D motion path, Normalized World Trajectory (NWT) anchors the path in a normalized world coordinate system and projects it into each camera view, producing a consistent object-action signal throughout the autoregressive rollout. Trajectory-Anchored State Persistence (TASP) combines persistent NWT guidance with selective memory refresh to maintain action-updated object states through off-screen intervals and re-entry. A pathway-selective LoRA introduces object control while retaining the pretrained camera controller. WorldCraft achieves accurate composable camera-object control and preserves camera fidelity. We further find that it maintains action-updated object states across extended intervals of complete target invisibility without off-screen trajectory supervision.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.25077v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02160v1cs.CV공통 태그 Novel View Synthesis, Video Generation, camera control, video world model

4Director: 강체 3D 지오메트리를 활용한 비디오 월드 모델 제어

4Director: Controlling Video World Models with Rigid 3D Geometry

카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.

arXiv:2609.37690v2cs.CV공통 태그 Novel View Synthesis, Video Generation, video world model

Honeycomb: 비디오 월드 모델을 위한 고정 크기 씬 메모리 표현

Honeycomb: Constant-Size Scene Memory Representation for Video World Models

비디오 월드 모델(video world model)은 장기(long-horizon) 비디오 생성 과정에서 일관성을 유지하기 위해 지속적인 씬 메모리(scene memory)를 필요로 합니다. 기존의 공간 메모리는 RGB 관측치나 잠재 특징(latent feature)을 누적하므로 생성이 진행됨에 따라 저장 공간 요구량이 증가합니다. 본 논문에서는 총 6개의 공간 및 시공간 평면을 갖는 고정 크기 메모리에 씬 특징을 저장하기 위해 제안된 저순위(low-rank) 표현인 HexMemory를 기반으로 구축된 비디오 월드 모델 Honeycomb을 소개합니다. 피드포워드 방식의 기록기(writer)는 생성된 각 청크(chunk)를 새로운 평면 특징으로 매핑합니다. 공간적 범위나 시간적 범위가 확장됨에 따라, 이전 평면의 차원을 유지하면서 워핑(warping)한 뒤 신뢰도 가중 풀링(confidence-weighted pooling) 및 학습된 잔차 보정(residual correction)을 통해 새로운 특징과 융합합니다. 판독기(reader)는 HexMemory에서 잠재 변수(latent)를 검색하여 후속 비디오 생성의 조건으로 사용합니다. 기록기는 새 청크의 관측치만 처리하므로 씬별 최적화와 전체 이력에 대한 반복 처리를 피할 수 있습니다. WorldScore 및 RealEstate10K 데이터셋에서의 실험을 통해, 생성 과정 전반에 걸쳐 HexMemory 특징 저장 용량을 일정하게 유지하면서도 우수한 비디오 생성 품질과 견고한 재방문(revisit) 일관성을 보여줍니다. 코드와 추가 시각화 자료는 프로젝트 페이지(https://jackswl.github.io/honeycomb/)에서 확인할 수 있습니다.

arXiv:2610.02162v1cs.CV공통 태그 Novel View Synthesis, Video Generation, camera control

World Observer: 지속적인 월드 모델링을 위한 행위자-관찰자 결합 생성

World Observer: Joint Actor-Observer Generation for Persistent World Modeling

월드 모델(world model)은 행위자(actor)의 현재 시야를 벗어난 영역을 어떻게 지속적으로 관찰할 수 있을까요? 비디오 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지 시뮬레이션하지만, 여전히 행위자 중심적입니다. 물체가 행위자의 시야를 벗어나면 그 변화에 대한 직접적인 근거를 잃어버려, 다시 시야에 들어올 때 해당 물체의 상태와 역학(dynamics)을 유지하지 못하는 경우가 많습니다. 이를 해결하기 위해 본 논문에서는 에이전트 중심 시점을 위한 원근 행위자와 선택된 세계 영역을 지켜보는 하나 이상의 파노라마 관찰자를 결합하여 생성함으로써 관찰과 행동을 분리하는 World Observer를 제안합니다. 이를 통해 행위자의 시야를 벗어난 물체도 관찰자 시점 내에서 시각적으로 지속해서 변화할 수 있어, 다시 시야에 들어올 때 업데이트된 상태가 반영됩니다. 명시적인 기하학적 대응을 위해 공유된 파노라마 소스로부터 워핑하여 행위자와 관찰자를 그라운딩(grounding)하며, 재진입 시 미세한 외형을 복원하기 위해 고해상도 원근 참조의 Observer Sink를 도입합니다. 관찰자는 행위자와 분리되어 있으므로 장면에 자유롭게 배치할 수 있고, 더 넓은 범위를 커버하기 위해 여러 위치로 확장할 수 있으며, 제어 신호로 구동하여 시야 밖의 변화를 유도할 수도 있습니다. 시야 밖 변화를 평가하기 위해 월드 공간 지표와 실제 및 가상 장면을 아우르는 벤치마크를 추가로 도입합니다. World Observer는 시각적 충실도, 카메라 제어 및 3D 일관성에서 경쟁력을 유지하면서 시야 밖 역학을 크게 향상시킵니다.

arXiv:2610.02180v1cs.CV공통 태그 Novel View Synthesis, Video Generation, camera control

Generative Cinematographer: 3D에서의 카메라 및 객체 모션 구성

Generative Cinematographer: Composing Camera and Object Motion in 3D

현재의 제어 가능한 비디오 생성 시스템은 객체 모션을 표현하기 위해 2D 모션 궤적이나 희소한 드래그 신호에 의존하는 경우가 많습니다. 특히 카메라와 객체가 동시에 움직일 때 동일한 2D 궤적이 서로 다른 3D 모션에 대응될 수 있으므로 이러한 제어 방식은 모호성을 지닙니다. 본 연구에서는 단일 이미지를 편집 가능한 3D 장면 스캐폴드로 변환하여 아티스트가 카메라와 전경 모션을 함께 저작할 수 있는 시스템인 Generative Cinematographer(GenCine)를 제안합니다. 아티스트는 카메라 경로를 지정하고 국소 3D 모션 핸들을 사용하여 선택한 전경 영역을 이동시킬 수 있습니다. 여러 핸들을 통해 피사체의 서로 다른 부분을 독립적으로 움직일 수 있어, 물리 시뮬레이터나 범주별 사전 지식(prior) 없이도 비강체(non-rigid) 모션에 대한 구분적 강체(piecewise-rigid) 근사를 제공합니다. 이러한 제어를 사전학습된(pretrained) 비디오 모델에 전달하기 위해, 이를 가이던스 맵으로 투영합니다. 이 맵은 각 프레임에서 제어된 영역이 나타나는 위치를 기록하고, 프레임 전반에 걸쳐 각 핸들에 고정된 색상을 할당하며, 제어된 점들의 현재 3D 위치를 배경과 동일한 월드 좌표계로 인코딩합니다. 이를 통해 카메라가 움직이는 상황에서도 장면에 상대적인 객체 모션을 기술할 수 있습니다. 학습을 위해 실제 비디오에서 관찰된 모션으로부터 제어 신호를 복원하고, 합성 비디오의 정답(ground-truth) 지오메트리 및 궤적을 활용합니다. 우리는 사전학습된 Wan 모델에 경량 가이던스 브랜치와 LoRA 어댑터를 학습시켜 이러한 제어를 따르도록 합니다. 실험 결과, 시점 변화 속에서도 향상된 기하학적 일관성과 카메라 상대 모션의 일관성을 보였으며, 다양한 실제 장면 전반에서 강력한 제어 성능을 입증했습니다.

arXiv:2609.24208v1cs.CV공통 태그 Novel View Synthesis, Video Generation, camera control

CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어

CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation

우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.

arXiv:2607.24591v1cs.CV공통 태그 Novel View Synthesis, Video Generation, camera control

CameraAnything: 임의의 카메라 제어로 비디오 재촬영

CameraAnything: Refilming Videos with Arbitrary Camera Control

CameraAnything을 소개한다. 이는 내부 및 외부 카메라 매개변수를 모두 공동으로 제어할 수 있는, 카메라 제어 비디오 편집을 위한 최초의 통합 프레임워크이다. 기존 접근법은 완전한 카메라 기능을 달성하기 위해 비용이 큰 3D 재구성(reconstruction)에 의존하거나, 편집을 외부 매개변수 조작으로 제한한다. 또한 내부 및 외부 매개변수가 비디오 외관에 미치는 결합된 영향으로 인해 분리(disentangled) 모델링이 특히 어렵다. 이를 해결하기 위해, 셀프 어텐션(self-attention)에서 해상도 인식(resolution-aware) 3D RoPE와 함께 픽셀 단위 Plücker 광선 주입(per-pixel Plücker ray injection)을 채택하고, 대상 잠재(latent) 표현 위에 카메라 조건화(camera conditioning)와 공간적 위치 인코딩(spatial positional encoding)을 모두 구축하여 크롭(cropping)이나 아웃페인팅(outpainting) 없이 카메라 위치, 초점 거리(focal length), 네이티브 해상도 편집을 공동으로 제어한다. 쌍(pair) 학습 데이터의 부족을 극복하기 위해, 구조화된 다중 카메라 녹화를 통해 다양한 동적 장면을 구성하고 다양한 카메라 구성의 동기화된 비디오를 생성하는 확장 가능한 합성 파이프라인을 추가로 개발한다. 맞춤형 직교(orthogonal) 학습 전략을 통해 CameraAnything은 단일 생성 과정 내에서 임의의 시점(viewpoint) 제어, 초점 거리 조정, 해상도 적응, 멀티샷(multi-shot) 전환을 포함한 표현력 있는 비디오 재촬영(reshooting)을 가능하게 하며, 영화적 비디오 편집 및 비디오 제작에서의 크로스 플랫폼 콘텐츠 적응에 강한 실용적 가치를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.