PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.25077v2cs.CV

WorldCraft: 인터랙티브 비디오 월드 모델에서 카메라 내비게이션부터 객체 조작까지

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

최근의 비디오 월드 모델(world model)은 인터랙티브한 카메라 내비게이션을 가능하게 하지만, 개별 객체에 대한 제어는 제한적입니다. 본 연구에서는 시점 변화, 생성 청크, 일시적인 비가시성 구간 전반에 걸쳐 객체 궤적 행동이 유효하게 유지되어야 하는 자기회귀(autoregressive) 비디오 월드 모델에서의 지속적인 객체 상태 제어를 연구합니다. 이러한 환경은 자기회귀 메모리가 마지막으로 관찰된 객체 상태를 기록하는 반면 개입된 행동은 화면 밖에서 해당 상태를 업데이트할 수 있기 때문에 행동-메모리 충돌을 유발합니다. 저자들은 카메라 내비게이션과 객체 궤적 제어를 함께 결합한 최초의 카메라 내비게이션 가능 자기회귀 비디오 월드 모델인 WorldCraft를 제시합니다. 사용자가 선택한 객체와 2D 모션 경로가 주어지면, 정규화된 월드 궤적(Normalized World Trajectory, NWT)은 해당 경로를 정규화된 월드 좌표계에 고정하고 각 카메라 뷰로 투영하여 자기회귀 롤아웃(rollout) 전반에 걸쳐 일관된 객체-행동 신호를 생성합니다. 궤적 고정 상태 지속성(Trajectory-Anchored State Persistence, TASP)은 지속적인 NWT 가이던스와 선택적 메모리 갱신을 결합하여, 화면 밖 구간 및 재진입 과정에서도 행동으로 업데이트된 객체 상태를 유지합니다. 경로 선택적 LoRA는 사전학습된 카메라 컨트롤러를 유지하면서 객체 제어 기능을 도입합니다. WorldCraft는 정확하게 결합 가능한 카메라-객체 제어를 달성하며 카메라 충실도를 보존합니다. 나아가 화면 밖 궤적 지도(supervision) 없이도 타깃이 완전히 보이지 않는 확장된 구간 전반에서 행동으로 업데이트된 객체 상태를 유지함을 확인했습니다.