대화형 월드 모델(interactive world model)은 실시간 사용자 행동(액션)에 따른 환경 동역학을 시뮬레이션하는 것을 목표로 합니다. 그러나 이들의 액션 어휘(action vocabulary)는 대부분 내비게이션(navigation)으로 제한됩니다. 대부분의 행동은 이동(예: 걷기, 회전, 둘러보기)에 해당하지만, 장면 내 객체와의 상호작용(예: 접시 집기, 문 열기, 물리적 반응 유발)은 없거나 게임 도메인에만 국한되거나 프롬프트-투-풀-비디오(prompt-to-full-video) 시나리오로만 처리됩니다. 결과적으로 생성된 월드는 시각적으로는 탐색이 가능하지만, 실제로는 행동이 불가능합니다. 본 연구에서는 청크 자동회귀(chunk-autoregressive) 프레임워크 내에서 롤아웃(rollout) 중간 단계의 객체 상호작용을 지원하도록 기존의 내비게이션 중심 생성기를 확장한 대화형 월드 모델인 ActWorld를 제시합니다. 우리는 내비게이션과 상호작용 간의 격차가 두 가지 병목 현상에서 기인한다고 주장합니다. 첫째, 데이터 병목(data bottleneck)으로, 정확하고 조밀한 레이블이 포함된 인간-객체 상호작용 데이터가 부족하다는 점입니다. 둘째, 메모리 병목(memory bottleneck)으로, 기존 월드 모델의 최근성 편향된 이력 압축이 후속 객체 상태를 인과적으로 결정하는 이벤트 전이 프레임(event-transition frames)을 폐기하여, 액션 망각(action-forgetting) 병리 현상을 초래한다는 점입니다. 데이터 측면에서는 사고의 연쇄(Chain-of-Thought) 추론을 통해 청크별 캡션(per-chunk captions)이 주석된 10만 개의 상호작용 비디오 데이터셋을 구축했습니다. 모델 측면에서는 상호작용 중요도에 따라 이력 압축을 분배하는 계층적 액션 인지 메모리(action-aware memory) 설계를 도입했으며, 긴 롤아웃(rollout) 동안 이벤트 업데이트 및 객체 정체성 토큰(object-identity tokens)을 유지하는 지속적 메모리 뱅크(persistent memory bank)를 이를 보완했습니다. 실험 결과 ActWorld는 단일 모델 내에서 유연한 내비게이션과 풍부한 객체 상호작용을 모두 지원하며, 시점 제어(viewpoint control)를 희생하지 않으면서도 내비게이션 전용 기준 모델(baselines) 대비 상호작용 충실도(interaction fidelity)를 획기적으로 향상시키는 것으로 나타났습니다. 프로젝트 페이지는 https://interactwm.github.io/ActWorld 에서 확인할 수 있습니다.
비디오 토큰화는 확장 가능한 비디오 생성에 있어 핵심적인 요소입니다. 토큰의 수는 계산 비용과 모델링할 수 있는 비디오의 길이를 직접 결정하기 때문입니다. 기존 토크나이저는 주로 비디오를 더 적은 수의 토큰으로 압축하여 확장성을 개선하지만, 정적 배경이나 일관된 객체 모습과 같은 지속적인 콘텐츠를 프레임과 청크(chunks)에 걸쳐 반복적으로 표현하는 경향이 있습니다. 본 논문에서는 지속적인 정보를 시간에 걸쳐 재사용 가능하게 만드는 재사용 인식(reuse-aware) 비디오 토크나이저인 **TivTok** (*Time-Invariant Tokenizer*)를 제안합니다. TivTok은 프레임 간 공유되는 정보를 인코딩하는 시간 불변(TIV) 토큰과 프레임별 잔차(residuals)를 인코딩하는 시간 가변(TV) 토큰을 사용하여 클립을 표현합니다. 이러한 인자분해(factorization)를 달성하기 위해, 두 토큰 그룹에 서로 다른 어텐션 범위를 할당하는 범위 유도 인자분해(Scope-Induced Factorization, SIF)를 도입합니다. TIV 토큰은 전체 클립을 참조하는 반면, 각 TV 토큰은 TIV 토큰과 함께 해당 프레임에만 접근합니다. 디코더에서 불변 브로드캐스팅(Invariant Broadcasting, IB)은 병렬 재구성과 장기 비디오 토큰화를 위해 프레임과 청크에 걸쳐 동일한 TIV 토큰을 재사용합니다. 실험 결과 TivTok은 표준 $16{\times}256{\times}256$ 벤치마크에서 12.65의 rFVD를 달성했으며, 평가된 기준 모델(baselines) 대비 128프레임 비디오의 압축 효율을 2.91배 향상시키는 동시에, 평가에 포함된 다운샘플링 기반 토크나이저가 필요로 하는 토큰의 1.1%만을 사용하는 것으로 나타났습니다.
자율 주행을 위한 생성형 월드 모델은 자유 형식 언어, HD 맵, 궤적, 카메라 포즈가 호환되지 않는 표현 공간에 존재하는 '이종 제어 주입(heterogeneous control injection)'과 카메라별 잠재 표현이 전역 3D 기하학을 인코딩하지 못하는 '사후 크로스 뷰 융합(post-hoc cross-view fusion)'이라는 두 가지 해결되지 않은 긴장 관계에 직면해 있습니다. 우리는 이 두 문제가 잠재 토큰 수준에서 언어, 기하학, 픽셀을 정렬하는 공유된 기호 중간 언어(symbolic interlingua)의 부재라는 단일 근본 원인에서 비롯됨을 추적했습니다. 우리는 제어 가능한 다중 뷰 비디오 생성을 잠재 안무(latent choreography)로 재정의하는 LLM 연출 다중 에이전트 월드 모델인 DRIVE-CHOREO를 제시합니다. 사용자 의도를 구조화된 WorldScript로 파싱하는 Director, 이를 공간적으로 고정된 레이아웃 토큰으로 그라운딩(grounding)하는 Cartographer, 그리고 크로스 뷰 비평을 보조 감독으로 피드백하는 Auditor 등 세 개의 Qwen2.5-VL 에이전트가 협력하여 단일 위치 인식 토큰 시퀀스를 작성합니다. 이 시퀀스는 3D VAE의 합성곱 수용장(convolutional receptive field) 내에서 카메라 간 기하학을 강제하는 뷰-시간 순열(view-time permutation)을 통해 다중 뷰 비디오와 공동 압축됩니다. nuScenes 데이터셋에서 DRIVE-CHOREO는 경쟁력 있는 FVD(45.7)를 유지하며 새로운 최첨단 다중 뷰 일관성과 BEV mAP(21.6)을 달성했습니다. 또한, 우리의 합성 데이터로만 학습된 탐지기(dector)가 실제 검증(validation) 세트에서 +2.4 NDS를 향상시켜 다운스트림 유용성을 입증했습니다.
오픈 가중치 비디오 디퓨전 모델은 폭력부터 잘못된 정보에 이르기까지 사실적인 불안전한 콘텐츠를 생성할 수 있지만, 기존의 방어 기제는 일반적인 능력을 저하시키는 비용이 많이 드는 안전성 미세조정을 요구하거나, 적대적 프롬프트에 의해 쉽게 우회되는 외부 필터를 적용합니다. 우리는 추론 시간에 내부 표현(Representation)을 안전한 생성 쪽으로 조향(Steering)하여 비디오 디퓨전 모델을 정렬하는 학습 없는 방법인 REINS(REpresentation-space INference-time Safety steering)를 제안합니다. 우리의 주요 발견은 안전성 관련 구조가 비디오 디퓨전 트랜스포머의 은닉 상태 활성화에 선형적으로 인코딩되어 있으며, 이진 안전성 레이블에 대한 지도 PCA(Supervised PCA)를 통해 발견된 단일 방향이 안전한 생성 궤적과 불안전한 생성 궤적을 분리하기에 충분하다는 것입니다. 추론 시 중간 트랜스포머 층의 은닉 상태에 이 방향을 더하면, 가중치 업데이트나 개념 열거 없이 무시할 수 있는 계산 오버헤드만으로 생성이 유해한 콘텐츠에서 의미적으로 관련된 안전한 대안으로 재지향됩니다. 메커니즘 분석을 통해 우리는 안전성 정보가 트랜스포머 깊이에 따라 단조롭게 축적되지만, 조향 효과는 중간 층(약 50% 깊이)에서 정점에 달한다는 것을 밝혀내며, 이는 정보 가용성과 하류 전파 용량 사이의 근본적인 트레이드오프를 드러냅니다. 우리는 9개의 비디오 디퓨전 모델, 다양한 매개변수 규모(1.3B-5B), 그리고 텍스트-비디오 및 이미지-비디오 생성에 걸쳐 REINS를 평가했으며, 이는 비디오 생성 문헌에서 우리가 아는 한 가장 광범위한 안전성 평가 스위트입니다.
월드 모델은 수동적인 시각 생성기에서 물리적 AI(Physical AI)를 위한 기초적이고 운영 가능한 인프라로 전환하고 있습니다: 월드 모델은 이질적인 경험에서 세계 지식을 네이티브하게 습득하고, 장기 수평(long horizons)에 걸쳐 지속적인 상태를 유지하며, 실제 배포 제약 조건 내에서 효율적으로 실행해야 합니다. 우리는 이러한 요구 사항을 중심으로 설계된 네이티브 월드 모델 스택인 Kairos를 소개합니다. (1) Kairos는 크로스-임바디먼트 데이터 커리큘럼(Cross-Embodiment Data Curriculum)에 의해 관리되는 네이티브 사전학습 패러다임(Native Pre-training Paradigm)을 개척하여 세계를 학습합니다. 이 커리큘럼은 오픈 월드 비디오, 인간 행동 데이터, 로봇 상호작용을 점진적 발달 경로로 구성합니다. (2) Kairos는 하이브리드 선형 시간 어텐션(Hybrid Linear Temporal Attention)을 갖춘 네이티브 통합 아키텍처(Native Unified Architecture) 내에서 통합된 세계 이해, 생성 및 예측을 통해 세계를 유지합니다. 여기서 슬라이딩 윈도우 어텐션은 국부적 동역학을 포착하고, 확장된 슬라이딩 윈도우는 중거리 의존성을 포착하며, 게이트 선형 어텐션은 지속적인 전역 메모리를 유지합니다. 우리는 이 시간적 인수분해(temporal factorization)가 오류 누적을 엄격하게 제한함으로써, 확장된 수평에 걸친 상태 전파를 수학적으로 보장한다는 것을 입증하는 형식적인 이론적 경계를 확립했습니다. (3) Kairos는 실제 관찰-행동-피드백 루프를 위해 서버 및 소비자급 하드웨어에서 저지연 롤아웃(rollout) 생성을 지원하는 배포 인식 시스템 공동 설계(Deployment-Aware System Co-Design)를 통합하여 세계를 실행합니다. 임베디드 월드 모델, 장기 수평, 행동 정책 벤치마크에 대한 실험 결과, Kairos가 탁월한 효율성-능력 트레이드오프를 제공하면서 최상위 수준의 성능을 달성함을 보여줍니다. 종합적으로, 이러한 결과들은 Kairos가 미래의 자가 진화하는 물리적 지능을 위한 응집력 있는 운영적 기반으로 자리매김함을 보여줍니다.
편집 작업 하에서 일관된 비디오 생성은 지속성(persistence)을 필요로 합니다. 편집이 장면의 외관이나 레이아웃을 수정할 때, 이후의 생성 결과는 시간과 관점(viewpoint)에 걸쳐 일관성을 유지해야 하기 때문입니다. 그러나 기존 메모리 설계는 저장된 컨텍스트가 오래되었거나 유효하지 않게 될 수 있기 때문에, 이러한 수정 후 장기적인 일관성을 유지하는 데 어려움을 겪습니다. 이를 해결하기 위해 우리는 PermaVid를 제안합니다. 이는 공간 컨텍스트를 의미적 외관(semantic appearance)과 기하학적 구조(geometric structure)로 분리하는 멀티모달 컨텍스트 메모리를 기반으로 하며, 메모리 진화를 이후 관찰과 정렬(alignment)시키는 편집 인지(edit-aware) 메모리 업데이트 및 검색 전략을 결합한 새로운 프레임워크입니다. 구체적으로, 우리는 두 가지 상호 보완적인 메모리 뱅크를 개발합니다. 하나는 기하학을 암묵적으로 인코딩하면서 외관 인지(appearance-aware) 관찰을 포착하는 RGB 컨텍스트 메모리이고, 다른 하나는 의미(semantic)에서 분리된 기하학 전용 구조를 보존하는 깊이 컨텍스트 메모리입니다. 이 설계를 기반으로, 우리는 혼합 모달리티 메모리 컨텍스트에서 도출된 참조 조건 하에서 멀티모달 특징(feature) 융합을 수행하는 메모리 안내 비디오 생성 모델을 소개합니다. 실험 결과, 우리의 방법은 편집 후 강력한 장기 의미적 및 구조적 일관성을 유지하며, 최첨단(SOTA) 방법들을 현저히 능가함을 입증합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization)는 비디오 디퓨전 모델을 인간 선호도에 정렬하는 데 필수적인 기술로 부상했으나, 치명적인 계산 병목 문제에 직면해 있습니다. 140억 매개변수 모델을 학습하는 데 일반적으로 실험당 수백 GPU 일수가 소요되기 때문입니다. 기존의 효율화 방법들은 학습 타임스텝에 대한 슬라이딩 윈도우 서브샘플링을 통해 비용을 절감하지만, 근본적으로 최적화를 저해하여 심각한 불안정성을 보이고 전체 궤적(full trajectory) 성능에는 도달하지 못합니다. 본 논문에서는 제한된 계산 비용 하에서도 정렬 품질 측면에서 전체 궤적 학습을 능가하면서 학습 효율성을 크게 향상시키는 단일 단계 학습 프레임워크인 Flash-GRPO를 제안합니다. Flash-GRPO는 두 가지 핵심 과제를 해결합니다. 첫째, 등시간 그룹화(iso-temporal grouping)는 프롬프트 수준의 시간적 일관성을 강제하여 타임스텝에 의해 혼재된 분산을 제거하고, 정책 성능을 타임스텝 난이도로부터 분리합니다. 둘째, 시간적 그래디언트 보정(temporal gradient rectification)은 타임스텝 간에 그래디언트 크기의 큰 불일치를 초래하는 시간 의존적 스케일링 인자를 상쇄합니다. 13억에서 140억 매개변수 모델에 대한 실험을 통해 Flash-GRPO의 효과를 검증하였으며, 일관된 안정성과 최첨단 정렬 품질을 유지하면서 상당한 학습 가속 효과를 입증했습니다.
최근 비디오 디퓨전 모델들은 대규모 생성형 월드 모델로서 인상적인 성능을 달성했습니다. 그러나 이러한 모델들은 종종 세밀한 물리적 일관성을 유지하는 데 어려움을 겪으며, 시간이 지남에 따라 물리적으로 타당하지 않은 역학을 나타냅니다. 본 연구에서는 비디오 디퓨전 모델로부터 물리적으로 일관된 4D 세계 표현을 학습하는 파이프라인인 Phys4D를 제안합니다. Phys4D는 외관 기반 비디오 디퓨전 모델을 점진적으로 물리적으로 일관된 4D 세계 표현으로 격상시키는 3단계 학습 패러다임을 채택합니다. 먼저 대규모 의사 지도 사전학습을 통해 강건한 기하학 및 모션 표현을 구축하여 4D 장면 모델링의 기반을 마련합니다. 그 다음 시뮬레이션 생성 데이터를 사용하여 물리 기반 지도 미세조정을 수행하여, 시간적으로 일관된 4D 역학을 부과합니다. 마지막으로, 명시적 지도를 통해 포착하기 어려운 잔여 물리적 위반을 수정하기 위해 시뮬레이션 기반 강화학습을 적용합니다. 외관 기반 지표를 넘어 세밀한 물리적 일관성을 평가하기 위해, 기하학적 응집성, 모션 안정성, 장기적 물리적 타당성을 검증하는 4D 세계 일관성 평가 세트를 도입합니다. 실험 결과, Phys4D는 강력한 생성 성능을 유지하면서 외관 기반 베이스라인과 비교하여 세밀한 시공간 및 물리적 일관성을 상당히 개선함을 보여줍니다. 우리의 프로젝트 페이지는 https://sensational-brioche-7657e7.netlify.app/ 에서 확인할 수 있습니다.
본 조사에서는 신경 필드(neural fields), 기하학 및 모션 심층 학습(deep learning), 그리고 3D 생성형 인공지능(GenAI)의 최근 발전에 힘입어 급속도로 진화하고 있는 컴퓨터 그래픽스의 하위 분야인 4D 생성 및 재구성을 다룹니다. 본 조사가 해당 분야의 첫 번째 연구는 아니지만, 시간의 흐름에 따라 변화하며 모션과 상호작용을 나타내는 3D 기하학을 모델링한다는 독특하고 뚜렷한 4D 표현의 관점에서 영역을 다룹니다. 구체적으로, 다수의 연구를 빠짐없이 나열하는 대신 대표적인 연구에 집중하는 선택적인 접근 방식을 취하여, 다양한 연산, 응용, 및 데이터 시나리오에서 각 표현이 가진 바람직한 속성과 수반되는 과제를 모두 강조합니다. 본 조사가 독자에게 전달하고자 하는 핵심 메시지는 자신의 작업에 적합한 4D 표현을 선택하고 이를 맞춤화하는 방법에 관한 것입니다. 구조적으로 기하학, 모션, 및 상호작용이라는 세 가지 핵심 축을 기준으로 4D 표현을 분류합니다. 본 논의는 오늘날 가장 널리 사용되는 표현인 신경 방사장(NeRFs)과 3D Gaussian Splatting(3DGS)뿐만 아니라, 구조화된 모델(structured models)과 장거리 모션(long-range motions)과 같이 4D 맥락에서 상대적으로 덜 탐색된 표현에도 주목합니다. 조사 전반에 걸쳐 다양한 4D 응용 분야에서 대규모 언어 모델(LLMs)과 비디오 파운데이션 모델(VFMs)의 역할을 재조명하고, 이들의 현재 한계점 및 해결 방안에 대한 논의로 이어갑니다. 또한, 해당 하위 분야의 발전을 견인하는 데 있어 현재 이용 가능한 4D 데이터셋과 부족한 부분에 대해서도 별도로 다룹니다. 프로젝트 페이지: https://mingrui-zhao.github.io/4DRep-GMI/
다시점 비디오(multi-view video)에서 고속 동적 장면을 재구성하는 것은 고속 움직임 분석과 사실적인 4D 재구성에 매우 중요합니다. 그러나 대부분의 4D 캡처 시스템은 30 FPS(초당 프레임 수) 이하의 프레임 레이트로 제한되어 있어, 저 FPS 입력으로 고속 움직임을 직접 4D 재구성하면 바람직하지 않은 결과가 초래될 수 있습니다. 본 연구에서는 새로운 캡처 및 처리 모듈을 통해 저 FPS 카메라만을 사용하는 고속 4D 캡처 시스템을 제안합니다. 캡처 측면에서는 카메라의 시작 시간에 시차를 두어 유효 프레임 레이트를 높이는 비동기 캡처 방식을 제안합니다. 카메라를 그룹화하고 25 FPS의 기본 프레임 레이트를 활용함으로써, 본 방법은 전용 고속 카메라 없이도 100-200 FPS에 해당하는 프레임 레이트를 달성합니다. 처리 측면에서는 비동기성으로 인해 각 타임스탬프에서 시점의 수가 줄어들어 발생하는 4D 희박 시점(sparse-view) 재구성의 아티팩트를 수정하기 위해 새로운 생성 모델(generative model)을 제안합니다. 구체적으로, 희박 4D 재구성을 위한 비디오 디퓨전 기반 아티팩트 수정 모델을 학습하여, 누락된 디테일을 복원하고 시간적 일관성을 유지하며 전체적인 재구성 품질을 향상시키는 방식을 제안합니다. 실험 결과를 통해 본 방법이 동기 캡처(synchronous capture)에 비해 고속 4D 재구성을 현저히 향상시킴을 입증합니다.
대규모의 고품질 동적 3D(4D) 자산은 물리 기반 표현을 학습하는 데 필수적이지만, 대규모로 캡처하고 어노테이션하는 데 비용이 많이 듭니다. 이는 지도 4D 학습의 실현 가능성을 제한하며, 사전학습된 디퓨전 사전(priors)을 활용한 제로샷 텍스트-투-4D 생성의 동기가 됩니다. 복잡한 동역학을 모델링하기 위해 기존 방법들은 일반적으로 변형 능력 때문에 암시적 3D 표현(예: NeRF 또는 3DGS)을 채택합니다. 그러나 그 암시적 특성은 표면 토폴로지에 대한 제어를 제한적으로 제공하며, 이는 고충실도 기하학을 방해하고 시간적으로 일관된 표면 재구성을 어렵게 만듭니다. 이러한 제한 사항을 해결하기 위해 우리는 제로샷 텍스트-투-4D 메쉬 생성을 탐구합니다. 그러나 디퓨전 기반 가이던스를 토폴로지 제약 메쉬와 결합할 때 구조적 불일치가 발생합니다. 가이던스는 노이즈가 많고 공간적으로 불일치하는 반면, 메쉬는 심각한 토폴로지 제약을 부과하여 직접적인 정점 수준 변형을 불안정하게 만듭니다. 본 논문에서 우리는 TextMesh4D를 소개합니다. 이는 위의 과제를 두 가지 상호 보완적인 수준에서 해결함으로써 동적 메쉬를 직접 생성하는 최초의 텍스트-투-4D 제로샷 프레임워크입니다. 기하학적으로 우리는 야코비안 변형 필드(JDF)를 통해 변형 모델링을 정점에서 면으로 변경하여, 적분 가능성을 강제하는 통합 공식을 통해 토폴로지 인식 표면 재구성을 가능하게 합니다. 의미론적으로 우리는 국소적 변형 타당성과 전역적 형상 일관성을 공동으로 제약하여 시간에 따른 정체성을 보존하는 국소-전역 의미론적 정규화기(LGSR)를 제안합니다. 광범위한 실험을 통해 단일 24GB GPU에서 효율적으로 작동하면서도 최첨단의 시간적 일관성, 구조적 충실도 및 시각적 품질을 입증했습니다.
과학 도표는 복잡한 파이프라인을 하나의 캔버스로 압축하지만, 이를 이해하기 위해서는 시각적 하이라이트와 정렬된 논문 기반의 단계별 설명이 필요합니다. 이는 현재 비디오 생성 시스템과 벤치마크에서 결여된 기능입니다. 이를 해결하기 위해 우리는 논문 기반 도표-비디오 생성(figure-to-video generation)을 소개합니다. 이는 도표와 해당 논문을 사용하여 설명이 포함되고 영역 그라운딩(grounding)된 워크스루 비디오를 생성하는 방식입니다. 우리는 논문 기반 설명을 생성하고 이를 도표 영역에 순차적으로 그라운딩(grounding)하는 파이프라인인 MINARD를 제안합니다. 또한, 새로운 순차적 및 구성 요소 수준의 그라운딩(grounding) 메트릭(지표)이 포함된 FigTalk 벤치마크를 공개합니다. FigTalk에서 MINARD는 사람과 같고 논문에 충실한 설명을 생성하며, 자동 및 인간 평가 모두에서 기존 접근 방식보다 설명 조건부 도표 공간 그라운딩(grounding) 성능이 뛰어납니다.
디퓨전 트랜스포머(DiT) 서빙의 정적 병렬성 한계를 극복하기 위해, GF-DiT는 워크로드와 시스템 상황에 따라 병렬성을 동적으로 조정하는 탄력적인 런타임을 제안한다. 이 방식은 그룹 프리 컬렉티브를 통해 통신 오버헤드를 획기적으로 줄여 처리량을 최대 6.01배 향상시키고 평균 지연 시간을 최대 95% 단축했다.
Flex4DHuman을 제시한다. 이는 상대적 카메라 포즈(relative camera-pose) 조건만으로 동적 대상의 단안(monocular) 또는 희소 다중 시점(sparse multi-view) 비디오를 동기화된 밀집 다중 시점 비디오로 변환하는 다중 시점 비디오 확산 모델이다. 스켈레톤, 깊이 맵, 법선(normal), 렌더링된 목표 시점 기하학에 의존하는 기존 인체 중심 방법과 달리, Flex4DHuman은 명시적 기하학 사전 지식(prior)이 필요 없으며 대신 상대적 카메라 포즈 위치 인코딩(positional encoding)을 통해 생성을 조건화한다. 생성된 비디오는 하위 재구성 파이프라인에 직접 입력되어 동적 4D Gaussian splat을 만들 수 있다. Wan 2.1 1.3B 텍스트-투-비디오(text-to-video) 모델을 기반으로, Flex4DHuman은 백본 아키텍처를 유지하며 시점 인덱스와 연속 SE(3) 상대 카메라 기하학으로 시공간 RoPE(spatio-temporal RoPE)를 확장한 5축 위치 인코딩을 통해 카메라 및 시점 정보를 인코딩한다. 3단계 커리큘럼으로 포즈 추종, 유연한 참조-목표 시점 생성, 시간적 롤아웃(temporal rollout)을 순차적으로 학습한다. 시간적 롤아웃을 지원하기 위해 깨끗한(clean) 과거 목표 시점 토큰으로 학습한다. 또한 다중 시점 캡션을 추가하여 테스트 시점 텍스트 제어를 가능하게 한다. 기성(off-the-shelf) 4D Gaussian Splatting 단계와 결합하면, 프레임워크는 단안 정적 카메라 비디오를 동적 4D Gaussian splat으로 변환한다. DNA-Rendering 및 ActorsHQ 실험에서 Flex4DHuman이 기존 최첨단(state-of-the-art) 방법을 능가하며, 동일한 공식화는 인간-동물 혼합 학습 후 동물 카테고리로 일반화된다. 이러한 능력은 Flex4DHuman을 시뮬레이션, 게임, AR/VR, 비디오 재촬영(video re-shooting)을 위한 일상적 단안 비디오로부터 확장 가능한 4D 콘텐츠 생성을 향한 실용적 단계로 만든다.
월드 액션 모델(WAM)은 비디오 예측을 통한 로봇 제어의 유망한 패러다임을 제시한다. 그러나 현재의 WAM은 근본적인 공간적 병목 현상으로 인해 어려움을 겪고 있다. 표준 텍스트 입력은 복잡한 장면에서 지시 대상의 모호성을 유발하며, 비정형 RGB 예측은 시맨틱 그라운딩이 부족하고 태스크와 무관한 배경에 의한 편향이 남아 있다. 이러한 한계를 극복하기 위해 우리는 객체 중심 월드-액션 모델인 MaskWAM을 제안한다. 통합된 트랜스포머 혼합(Mixture of Transformers, MoT)을 통해 마스크를 명시적 입력과 예측 양쪽에 동시에 통합함으로써, MaskWAM은 강건한 정책 일반화를 실현한다. 이 설계는 두 가지 핵심적인 이점을 제공한다: (1) 미래 마스크를 예측함으로써 시각적 노이즈를 억제하는 객체 중심의 시맨틱 지도 신호를 얻을 수 있으며, 이는 표준 텍스트 조건부 WAM조차도 크게 향상시킨다. (2) 이 예측적 지도 신호를 첫 번째 프레임의 시각적 프롬프트(예: 목표 객체 마스크)와 결합함으로써 정밀한 공간적 앵커를 설정하여 언어 모호성을 크게 줄인다. 핵심적으로, WAM은 본질적으로 비전 중심 아키텍처이므로 직접적인 마스크 컨디셔닝이 텍스트 단독보다 실질적으로 강력한 가이던스를 제공하며, 미지의 객체를 조작하기 위한 정밀하고 강건한 패러다임을 확립한다. LIBERO, RoboTwin 및 실세계 태스크에 대한 평가에서 MaskWAM은 언어가 명확한 태스크와 언어가 모호한 태스크 모두에서 기준선을 크게 능가함을 입증한다.
참조 비디오에서 카메라 동작을 복제하는 것은 비디오 생성에서 중요한 과제로, 비디오는 직관적이고 정밀한 제어를 제공합니다. 기존 방법들은 멀티샷 생성을 처리하지 못하는 파라메트릭 표현을 직접 사용하거나 교차 쌍 데이터를 합성하는데, 이는 데이터 희소성 문제로 인해 복잡한 카메라 동작 클로닝에서 성능이 저하됩니다. 이러한 문제를 해결하기 위해, 카메라를 그리드 모션 비디오로 인코딩하는 범용 카메라 동작 표현을 제안합니다. 이 카메라 그리드는 카메라 파라미터를 시각적으로 표현하며 멀티샷 비디오 생성을 위한 다양한 궤적의 통합을 지원합니다. 이를 기반으로, 백만 규모의 카메라 그리드-비디오 쌍으로 학습된 통합 프레임워크인 OmniDirector를 제안합니다. OmniDirector는 캐릭터, 동작, 카메라를 조율하여 멀티모달 확산 트랜스포머(multimodal diffusion transformers)에 감독 수준의 제어를 제공합니다. 또한, 신호 간 관계를 이해하여 카메라 동작과 시각적 콘텐츠를 체계적으로 기술함으로써 서로 다른 제어 신호를 조화롭게 통합하는 새로운 계층적 프롬프트 확장 에이전트를 설계합니다. 광범위한 실험을 통해 본 프레임워크의 우수한 성능과 뛰어난 제어 가능성을 입증합니다. 프로젝트 페이지: https://ymlinfeng.github.io/OmniDirector.github.io/
자기회귀 비디오 diffusion 모델은 이전에 생성된 콘텐츠를 조건으로 새 프레임을 생성함으로써 스트리밍 및 가변 길이 비디오 생성에 자연스러운 공식을 제공한다. 그러나 이러한 모델을 분 단위 생성으로 확장하는 것은 여전히 어렵다. 제한된 KV-캐시 예산으로 모델이 전체 히스토리를 유지할 수 없는 한편, 자체 생성된 프레임을 반복적으로 조건으로 사용하면 시간이 지남에 따라 누적되는 문맥 분포 변화(context distribution shift)가 발생하여 시각적 아티팩트, 품질 저하, 시간적 드리프트로 이어진다. 본 논문에서는 드리프트에 강한 장기 비디오 생성을 위한 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 캐시 관리 전략인 TetherCache를 제안한다. TetherCache는 캐시를 싱크(sink), 메모리(memory), 최근(recent) 영역으로 구성하고 두 가지 상호 보완적 메커니즘을 도입한다. 첫째, GRAB(Gated Recall with Attention-Diversity Balancing)은 어텐션 기반 관련성과 시간적 다양성을 결합한 게이티드 점수로 장거리 메모리 프레임을 선택하여, 고정된 캐시 예산 하에서 정보가 풍부하면서도 다양한 과거 문맥을 보존한다. 둘째, TAME(Trusted Alignment via Memory Editing)은 새로 호출된 메모리 토큰을 신뢰할 수 있는 문맥 분포에 통계적으로 정렬하도록 가볍게 편집하여, 드리프트된 과거 특징이 일으키는 오염을 줄인다. Self-Forcing을 기반으로 한 TetherCache는 30초, 60초, 240초 설정에서 VBench-Long의 장기 비디오 생성 품질을 일관되게 향상시킨다. 특히 240초 생성에서는 전체 및 의미론 점수를 크게 개선하는 동시에 품질 드리프트를 7.84에서 1.33으로 줄여, 안정적인 장기 자기회귀 비디오 diffusion에 대한 효과를 입증한다.
월드 액션 모델(WAM)은 비디오 생성 모델을 활용하여 미래 장면의 변화를 모델링한 후 제어 행동을 생성하는 방식으로 로봇 조작에 유망한 접근법을 제시한다. 그러나 우리의 실험적 관찰은 하나의 현상을 드러낸다: 그럴듯한 시각적 미래를 생성하는 것이 항상 정확한 행동 추출을 보장하지는 않는다. 이 실패를 진단하기 위해 우리는 액션 헤드 어텐션 분석과 인과 개입을 수행한다. 액션 디코더가 과제 관련 상호작용 영역에 집중하지 못하고 과제 무관 영역의 섭동에 민감하게 반응한다는 사실을 발견한다. 이는 표현 불일치를 드러낸다: 시각적 복원에 최적화된 은닉 상태가 저수준 행동 제어에 유용한 형태로 본질적으로 구성되지 않는다는 것이다. 본 논문에서 우리는 AGRA, 즉 행동 기반 표현 정렬(Action-Grounded Representation Alignment) 목적함수를 제안한다. AGRA는 중간 비디오 확산 피처를 기반 시각 인코더의 공간적으로 일관된 의미 표현과 정렬함으로써 월드-액션 인터페이스를 정규화한다. 우리는 실제 환경의 조작 과제에서 AGRA를 평가한다. 실험 결과, AGRA는 월드 모델 표현을 더 행동 기반으로 만든다는 것을 보인다: 액션 디코더가 올바른 상호작용 영역에 집중하도록 하여 객체 위치 파악 정확도와 어포던스 이해를 향상시키고, 과제 무관 영역의 섭동에 대해 정책을 더 강건하게 만든다. 결과적으로, AGRA는 기준선 월드 액션 모델 대비 분포 내 성능과 분포 외 일반화 모두에서 일관되게 향상된 결과를 보인다.
사전학습된 비디오 생성기는 창발적 과제 해결 능력을 보이는 유망한 시각적 월드 모델이지만, 상세한 텍스트 설명에 의존한다는 점이 계획 및 의사결정에 직접 활용하는 것을 제한한다. 기존 접근법은 이러한 추론을 언어 모델 또는 비전-언어 모델에 위임하거나, 과제 실행 비디오와 짝을 이룬 지도 미세조정에 의존하는데, 이는 수집 비용이 크고 확장하기 어렵다. 우리는 자기 증류(self-distillation)와 강화학습을 결합하여 이러한 모델에서 과제 해결 능력을 이끌어내는 확장 가능한 프레임워크를 제안한다. 라벨 없는 장면 이미지가 주어지면, 비전-언어 모델이 후보 과제와 상세한 단계별 해결책을 생성한다. 이 해결책은 사전학습된 비디오 확산 모델인 Demonstrator를 조건화하며, 우리는 그 행동을 이미지와 짧은 과제 프롬프트만으로 조건화되는 Executor로 증류한다. 이는 큐레이션된 과제-비디오 지도 없이 캡션 기반 생성에서 지시 조건 과제 해결로 실행 지식을 전이한다. 우리는 VLM 피드백으로부터의 강화학습으로 Executor를 더 개선하며, 샘플링된 비디오가 과제를 만족하는지 판단하는 것과 해결책을 생성하는 것 사이의 비대칭을 활용한다. 우리가 제안한 WorldTasks-Benchmark와 DreamGen 로봇 벤치마크에서의 실험은, Executor가 VLM 기반 평가 프로토콜 하에서 Demonstrator를 능가하며 로봇 과제로 경쟁력 있게 전이됨을 보여준다.
플로우 매칭(Flow Matching)은 잠재 ODE 샘플링을 통해 강건한 텍스트-투-비디오 생성을 가능하게 했습니다. 그러나 속도 근사 및 수치적 이산화 오류가 불가피하게 누적되어 샘플링 궤적이 편향됩니다. 그 결과, 생성된 비디오는 심각한 시공간적 불일치를 겪는 경우가 많습니다. 그럼에도 불구하고, 이렇게 편향된 노이즈 잠재 변수를 직접 수정하는 것은 어렵습니다: (i) 타임스텝에 의존하는 노이즈가 신뢰할 수 있는 구조적 단서를 가리고, (ii) 공간적 개입은 복잡한 국소 기하학을 훼손하면서 높은 계산 비용을 초래할 위험이 있습니다. 이를 해결하기 위해, 우리는 Spectral Lookahead Rectification(SpecLoR)을 제안합니다. SpecLoR은 룩어헤드 예측을 통해 노이즈를 우회하고, 보정을 주파수 도메인으로 이동시킴으로써 시공간적 얽힘을 회피하는 플러그 앤 플레이 추론 방법으로, 자연 비디오의 보편적 통계적 사전 분포를 손쉽게 활용할 수 있습니다. 먼저, 샘플링 초기 단계에서 SpecLoR은 룩어헤드를 통해 깨끗한 잠재 변수 $z_{t,0}$를 추정하고 3D 시공간 스펙트럼을 계산합니다. 다음으로, SpecLoR은 위상을 유지하면서 사전 분포에 맞게 진폭 스펙트럼을 정류합니다. 마지막으로, 수정된 상태는 ODE 적분을 재개하기 위해 다시 노이즈가 추가됩니다. Wan2.2에 대한 실험은 SpecLoR이 최소한의 계산 오버헤드(추가 NFE 4회)로 여러 벤치마크에서 물리적 아티팩트를 크게 줄이고 움직임 일관성을 향상시킴을 입증합니다.