비디오 생성 모델은 매우 사실적인 시퀀스를 생성하며 점차 세계 모델(world model)로 제안되고 있으나, 최근 벤치마크들은 이들 모델의 물리적 추론 능력에 뚜렷한 한계가 있음을 보여줍니다. 이는 이러한 모델들이 물리적 원리를 내재화하는 것인지, 아니면 단순히 익숙한 움직임 패턴을 재현하는 것에 불과한지에 대한 의문을 제기합니다. 본 연구에서는 중력과 접촉 조건에서의 기하학적 운동 및 강체 역학에 걸쳐 시뮬레이터 기반 참값(ground-truth) 물리량에 대해 비디오 확산 트랜스포머(DiT)의 내부 표현을 프로빙(probing)하여 이 문제를 다룹니다. 연구 결과, 이러한 물리량들은 노이즈 제거(denoising) 과정 초기 단계에서 높은 정확도로 선형 디코딩될 수 있으며, 모델 자체의 노이즈가 추가된 잠재 공간(latents)에서 직접 디코딩한 기준선(baseline)을 크게 능가함을 확인했습니다. 이는 관련 물리 정보가 입력에 이미 존재하는 것이 아니라 노이즈 제거 과정 중에 능동적으로 구성됨을 시사합니다. 또한, 물체 상의 토큰(on-object tokens)에서의 활성화가 관련 물리 정보를 전달하며, 여러 프레임에 걸쳐 정의된 물리량도 단일 잠재 프레임에서 읽어낼 수 있음을 보여줍니다. 따라서 정보는 토큰 시퀀스 내에 뚜렷하게 국소화되며, 전역적으로 계산되지만 국소적으로 저장됩니다. 나아가 프로브(probe)는 부분적인 외삽(extrapolation) 능력을 보여주어, 학습 체계(training regime) 외부의 장면 변형 및 물체 구성으로도 전이되므로 이들이 읽어내는 내용이 단순히 피팅된 장면의 상관관계에 불과한 것이 아님을 나타냅니다. 전체 해상도 활성화 공간에 직접 피팅할 경우, 이러한 프로빙 방향은 모델의 출력을 변경하기 위한 조향 벡터(steering vector) 역할을 할 수 있습니다.
명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.
자기회귀(autoregressive) 비디오 모델은 실시간으로 분 단위의 긴 비디오를 생성할 수 있지만, 사용자가 제공한 이미지 속 특정 피사체가 아닌 텍스트 기반의 일반적인 피사체를 생성합니다. 기존의 커스터마이징 방법들은 피사체마다 값비싼 최적화(optimization)를 요구하거나, 양방향 어텐션(bidirectional attention)으로 모든 비디오 프레임을 공동 처리하는 사전학습된 조건화 네트워크를 사용합니다. 두 접근 방식 모두 인과적 스트리밍(causal streaming)을 고려하여 설계되지 않았습니다. 본 논문에서는 동결된 자기회귀 비디오 모델의 영구 KV 캐시에 참조 기반 앵커 프레임을 저장하는 학습 불필요(training-free) 방법인 Custom Forcing을 제안합니다. 그러나 고정된 앵커는 두 가지 한계에 직면합니다. 단순 조건화는 신원(identity) 드리프트를 유발하며, 텍스트 프롬프트는 여전히 일반적인 피사체를 선호합니다. 이러한 문제를 해결하기 위해, 드리프트 적응형 값 증폭(DVA)은 신원 드리프트 정도에 따라 참조의 영향력을 조절하고, 앵커 대조 유도(ACG)는 생성이 일반 클래스 사전 분포(prior)에서 벗어나도록 유도합니다. 2분 길이의 롤아웃 동안 고정된 앵커는 DINO-I 지표에서 0.58에서 0.42로 떨어지는 반면, Custom Forcing은 모션을 줄이지 않고도 이를 0.58에서 0.62 사이로 유지합니다. 또한 Custom Forcing은 양방향 커스터마이징 방법보다 더 높은 피사체 유사도를 달성하고 인과적 image-to-video 및 reference-to-video 모델보다 30초 이상 신원을 더 잘 보존하는 동시에, 이러한 롱 비디오 베이스라인보다 각 프레임을 9.5~28.5배 더 빠르게 생성합니다.
본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.
플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
효과적인 산불 모니터링을 위해서는 시각적 단서를 물리적 화재 역학(fire dynamics)과 연계해야 하지만, 물리적 주석이 동기화된 실제 비디오는 희소하며 고충실도(high-fidelity) 3D 시뮬레이션은 비용이 많이 듭니다. 본 논문에서는 2D 산불 시뮬레이션을 라벨이 지정된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반(simulation-grounded) 비전-언어 모델(VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치, 화재 활동, 바람 단서에 정렬된 저세부도 3D 프록시를 생성하며, 제어 가능한 비디오 생성을 통해 더욱 풍부한 외형을 제공합니다. 이러한 프록시는 정교하게 렌더링된 최종 장면이라기보다는 중간 표현 역할을 합니다. 생성된 비디오와 시뮬레이터 라벨은 참조 에피소드를 검색하고 시각적 예측과 메모리 기반 예측을 조화시키며 정형화된 산불 보고서를 생성하는 학습(training) 불필요 다중 에이전트(multi-agent) VLM 시스템을 위한 재사용 가능한 멀티모달 메모리를 구성합니다. 홀드아웃(held-out)된 생성 에피소드에서 비디오 메모리는 직접적인 VLM 질의의 22.6%, 텍스트 전용 메모리의 16~17%에 비해 51.5%의 정확한 4개 태그 정확도를 달성했습니다. 전체 시스템은 시뮬레이터에서 파생된 6개 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거 실험(ablation), 교차 생성기 테스트, 세 가지 실제 무인 항공기(UAV) 평가를 통해 검색, 보고, 생성기 변경 및 관찰 가능한 모니터링 작업을 평가합니다. 본 프레임워크는 실제 환경의 물리적 주석이 부족한 상황에서 자동 시뮬레이션-프록시 변환과 메모리 기반 VLM 추론을 연결합니다.
최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.
확산 모델(Diffusion model)은 초저비트레이트 환경에서 지각적 재구성(perceptual reconstruction)을 위한 강력한 생성적 사전 확률(generative prior)을 제공하지만, 효과적인 비디오 압축을 위해서는 고도로 압축된 조건화 신호를 사용해 생성 과정을 제어해야 합니다. 본 연구에서는 초저비트레이트 영역을 위한 확산 기반 비디오 압축 프레임워크인 ActDiff-VC를 제안합니다. 제안하는 방법은 비디오를 가변 길이 세그먼트로 분할하고, 필요할 때만 키프레임을 전송하며, 추적된 포인트 궤적(point trajectory)의 간결한 집합을 사용하여 시간적 동역학을 요약합니다. 조건부 확산 디코더는 이러한 희소(sparse) 신호를 조건으로 삼아 나머지 프레임들을 합성함으로써, 극심한 전송률 제약 하에서도 지각적으로 사실적인 재구성을 가능하게 합니다. 이러한 설계를 지원하기 위해 콘텐츠 적응형 키프레임 선택과 예산 인식 희소 궤적 선택이라는 두 가지 메커니즘을 도입하며, 이들은 결합되어 생성적 재구성을 위한 간결하면서도 효과적인 조건화를 실현합니다. ActDiff-VC는 비대칭적 연산 특성을 지닙니다. 단일 NVIDIA A100 GPU에서 인코딩은 프레임당 109ms가 소요되는 반면, 적용된 20단계 확산 디코더는 프레임당 2311ms가 소요되어, 경량 인코딩과 지각적 재구성 품질이 우선시되는 클라우드 보조 재구성, 아카이브 저장, 오프라인 콘텐츠 배포와 같은 초저비트레이트 응용 분야에 특히 적합합니다. UVG 및 MCL-JCV 벤치마크 실험 결과, ActDiff-VC는 동일한 NIQE 기준 최대 64.6%의 비트레이트 절감을 달성하고, 유사한 비트레이트에서 강력한 학습 기반 코덱 대비 KID를 최대 64.6%, FID를 최대 37.7% 개선하며, 초저비트레이트 영역의 학습 기반 및 생성형 베이스라인 대비 우수한 지각적 율-왜곡(rate-distortion) 트레이드오프를 제공합니다. 147명의 참가자를 대상으로 한 사용자 평가에서도 이러한 지각적 개선이 입증되었으며, 일대일 비교에서 62.6%의 비율로 DCVC-FM보다 ActDiff-VC가 선호되었습니다.
확산 모델(Diffusion models)은 이미지 및 비디오 생성 분야에서 상당한 성공을 거두었습니다. 이는 제공된 텍스트 설명에 따라 비디오를 편집하는 비디오 편집 태스크에 대한 관심 증대로 이어지고 있습니다. 그러나 기존 접근 방식 대부분은 짧은 클립의 비디오 편집에만 초점을 맞추고 있으며, 시간이 많이 소요되는 튜닝이나 추론(inference)에 의존합니다. 본 논문에서는 광범위한 비디오 태스크를 위해 설계된 통합 파운데이션 모델(foundation model)인 Video Instruction Diffusion(VIDiff)을 최초로 제안합니다. 이러한 태스크에는 언어 유도 비디오 객체 분할(language-guided video object segmentation)과 같은 이해 태스크와 비디오 편집 및 향상과 같은 생성 태스크가 모두 포함됩니다. 본 모델(model)은 사용자 지시어에 기반하여 원하는 결과를 수 초 내에 편집하고 변환할 수 있습니다. 또한, 긴 비디오의 편집 및 향상 과정에서 일관성을 보장하기 위해 반복적인 자기회귀(auto-regressive) 방식을 설계했습니다. 정성적 및 정량적 평가를 통해 다양한 입력 비디오와 작성된 지시어에 대한 신뢰할 만한 생성 결과를 제시합니다. 더 많은 예시는 웹사이트 https://ChenHsing.github.io/VIDiff 에서 확인할 수 있습니다.
프롬프트(prompt) 및 참조 이미지 기반 편집 기능을 갖춘 디퓨전 모델은 빠른 발전을 이루었으나, 픽셀 단위 제어에는 여전히 너무 거칩니다. 유망한 방향 중 하나는 공간적으로 다양한 편집 강도를 지정하는 소프트 마스크(soft mask)를 통합하는 것이지만, 이러한 세밀한 제어를 학습(training)하려면 비용이 많이 드는 픽셀 단위 주석이 필요하며 기존 제로샷(zero-shot) 방법은 만족스럽지 못한 결과를 낳는 경우가 많습니다. 본 논문에서는 원본 콘텐츠를 완전히 보존하는 것부터 마스크된 영역을 완전히 재합성하는 것까지 연속적인 스펙트럼의 편집을 가능하게 하는 소프트 마스크를 활용한 새로운 제로샷 샘플링 방법인 SoftPaint를 소개합니다. 제로샷 인페인팅(inpainting) 방법을 넘어, 픽셀별 소프트 마스크 강도를 준수하는 랑주뱅 반복(Langevin iteration) 기반 샘플러를 설계하였으며, 이는 이미지 및 비디오 디퓨전 모델에 보편적으로 적용되어 비디오 편집과 같은 작업을 가능하게 합니다. 이 방법은 그래디언트(gradient)가 필요 없고 메모리 효율적이며, 여러 이미지 및 비디오 백본 전반에서 매끄러운 픽셀 단위 편집을 달성합니다.
월드 액션 모델(World Action Model, WAM)은 시각적 예측과 로봇 제어를 연결하지만, 예측 컨텍스트를 제공하려면 비용이 많이 드는 미래 비디오 생성이 요구되는 경우가 많습니다. 직접 정책(direct policy)은 이러한 비용을 피하지만 미래 인덱스 기반의 예측 정보에 접근하기 위한 명시적 인터페이스가 부족합니다. 본 논문에서는 효율적인 제어를 위해 예측(forecasting)과 렌더링(rendering)을 분리하여 잠재 예측 컨텍스트를 노출하고 형성하는 월드 액션 모델인 ForeWAM을 소개합니다. 핵심 메커니즘인 Future-KV는 현재의 시각적 잠재 벡터와 노이즈로 초기화된 미래 슬롯에 대해 단일 Video DiT 프리필(prefill)을 수행한 후, 액션 디노이징 전반에 걸쳐 생성된 키-값(key-value) 상태를 재사용합니다. 이러한 컨텍스트가 제어와 관련성을 갖도록, 학습(training) 중 고정된(frozen) 교사 모델의 잠재 액션으로 지도되는 동역학 레지스터(dynamics register)를 도입하여 상호작용으로 유도된 전이(transition) 표현을 학습하도록 유도합니다. 이 재사용 가능한 컨텍스트는 경량의 단일 층(layer) 액션 디코더를 지원합니다. 저자들은 LIBERO, LIBERO-Plus, RoboCasa 및 실제 환경의 조작 작업에서 ForeWAM을 평가합니다. 추가적인 정책 수준의 체화된 사전학습(embodied pre-training) 없이도 ForeWAM은 작업당 50개의 데모라는 동일한 예산에서 Fast-WAM 대비 RoboCasa 성공률을 9.7%p 향상시켜 59.2%를 달성했습니다. 단일 층 디코더를 통해 LIBERO-Plus에서 77.6%의 성공률을 기록했으며, NVIDIA A800에서 정책 쿼리 지연 시간을 88.7ms로 줄여 Fast-WAM 대비 6.27배의 속도 향상을 제공합니다. 이러한 결과는 잠재 예측 연산이 명시적인 미래 비디오 생성 없이도 견고하고 효율적인 제어를 위한 유용한 예측(foresight)을 제공함을 보여줍니다.
프로그래밍 가능한 월드 모델(programmable world model)은 실행 가능한 역학(dynamics)을 시각적 생성과 분리하여 차세대 게임 엔진을 위한 유망한 기반을 제공합니다. 그러나 명시적인 규칙 및 상호작용에 대한 시각적 준수 여부는 여전히 충분히 평가되지 않았습니다. 기존 벤치마크는 시각적 품질, 제어 가능성, 명령어 또는 물리적 법칙 준수를 평가하지만, 프로그램으로 지정된 세분화된 월드 이벤트에 대한 충실도를 테스트하는 경우는 드뭅니다. 본 논문에서는 다양한 장면과 상호작용을 포괄하는 170개의 프로그래밍 방식으로 구성된 에피소드와 600개의 프록시 비디오로 이루어진 PROWBench를 소개합니다. PROWBench는 카메라 시야각 밖의 이벤트를 포함하여 엔티티 상태와 타임스탬프가 지정된 이벤트를 재생 가능한 월드 기록으로 로깅하며, 이를 바탕으로 동기화된 뷰와 프록시 표현을 렌더링합니다. 이를 통해 생성된 비디오를 프로그램 실행의 관찰 가능한 결과와 대조하여 검증할 수 있습니다. 확장 가능한 프레임워크는 장면을 구성하고 행동을 제어하며, 각 카메라 뷰를 대략적인 3D 및 바운딩 박스와 같은 서로 다른 표현 방식으로 렌더링할 수 있습니다. 이 벤치마크는 1인칭 및 3인칭 시점을 모두 다루며, 일부 에피소드에 대해서는 동기화된 다중 뷰 관측도 제공합니다. 이러한 기록에 기반하여 PROWBench는 엔티티 제어, 장기 기억(long-horizon memory)을 평가하며, 두 가지 VLM 기반 지표인 Logic-Render Alignment와 Interaction Success Rate를 통해 정해진 타임라인 준수 여부 및 엔진에 기록된 타임스탬프 이벤트의 시각적 구현 여부를 평가합니다.
비디오 생성 모델은 뛰어난 시각적 충실도를 달성하며 범용 월드 시뮬레이터로 발전할 강력한 잠재력을 지니고 있습니다. 이러한 발전에도 불구하고, 기존 모델들은 여전히 물리 법칙을 준수하는 비디오를 생성하는 데 실패합니다. 이 문제는 동일한 비디오 내에서 여러 물리적 원리가 복합적으로 작용해야 하는 현실적인 상황에서 더욱 두드러집니다. 예를 들어, "냄비에서 증기가 피어오르는 동안 풍선이 위로 떠오르는" 장면은 부력과 유체 역학이 동시에 일관되게 전개되어야 합니다. 그러나 기존 방법들은 비디오당 단일 원리에만 초점을 맞추며 다중 물리 법칙의 상호작용을 대체로 간과합니다. 본 논문에서는 비디오 생성을 물리 법칙에 그라운딩(grounding)하는 강화학습 프레임워크인 HiPhy(Hierarchical Physical Alignment)를 제안합니다. HiPhy는 개별 물리 법칙의 시간적 동역학을 국소적으로 강제하고, 전체 장면의 물리적 및 의미론적 일관성을 전역적으로 보장하는 이중 수준 목적 함수를 사용합니다. 다중 물리 법칙 생성을 지원하기 위해 5만 개의 프롬프트로 구성된 데이터셋을 구축하고, 동시에 발생하는 다양한 물리적 사건을 아우르는 프롬프트 벤치마크인 MultiPhyBench를 도입합니다. 실험 결과에 따르면, HiPhy는 이전 방법 및 베이스라인들을 크게 능가하며 다양한 벤치마크에서 물리적 상식과 의미론적 정렬을 대폭 향상시켰습니다. 특히 경쟁 방법들의 성능이 가장 급격히 저하되는 여러 물리 법칙이 동시에 발생하는 장면에서 가장 큰 성능 향상을 보였습니다.
분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.
현재의 제어 가능한 비디오 생성 시스템은 객체 모션을 표현하기 위해 2D 모션 궤적이나 희소한 드래그 신호에 의존하는 경우가 많습니다. 특히 카메라와 객체가 동시에 움직일 때 동일한 2D 궤적이 서로 다른 3D 모션에 대응될 수 있으므로 이러한 제어 방식은 모호성을 지닙니다. 본 연구에서는 단일 이미지를 편집 가능한 3D 장면 스캐폴드로 변환하여 아티스트가 카메라와 전경 모션을 함께 저작할 수 있는 시스템인 Generative Cinematographer(GenCine)를 제안합니다. 아티스트는 카메라 경로를 지정하고 국소 3D 모션 핸들을 사용하여 선택한 전경 영역을 이동시킬 수 있습니다. 여러 핸들을 통해 피사체의 서로 다른 부분을 독립적으로 움직일 수 있어, 물리 시뮬레이터나 범주별 사전 지식(prior) 없이도 비강체(non-rigid) 모션에 대한 구분적 강체(piecewise-rigid) 근사를 제공합니다. 이러한 제어를 사전학습된(pretrained) 비디오 모델에 전달하기 위해, 이를 가이던스 맵으로 투영합니다. 이 맵은 각 프레임에서 제어된 영역이 나타나는 위치를 기록하고, 프레임 전반에 걸쳐 각 핸들에 고정된 색상을 할당하며, 제어된 점들의 현재 3D 위치를 배경과 동일한 월드 좌표계로 인코딩합니다. 이를 통해 카메라가 움직이는 상황에서도 장면에 상대적인 객체 모션을 기술할 수 있습니다. 학습을 위해 실제 비디오에서 관찰된 모션으로부터 제어 신호를 복원하고, 합성 비디오의 정답(ground-truth) 지오메트리 및 궤적을 활용합니다. 우리는 사전학습된 Wan 모델에 경량 가이던스 브랜치와 LoRA 어댑터를 학습시켜 이러한 제어를 따르도록 합니다. 실험 결과, 시점 변화 속에서도 향상된 기하학적 일관성과 카메라 상대 모션의 일관성을 보였으며, 다양한 실제 장면 전반에서 강력한 제어 성능을 입증했습니다.
월드 모델(world model)은 행위자(actor)의 현재 시야를 벗어난 영역을 어떻게 지속적으로 관찰할 수 있을까요? 비디오 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지 시뮬레이션하지만, 여전히 행위자 중심적입니다. 물체가 행위자의 시야를 벗어나면 그 변화에 대한 직접적인 근거를 잃어버려, 다시 시야에 들어올 때 해당 물체의 상태와 역학(dynamics)을 유지하지 못하는 경우가 많습니다. 이를 해결하기 위해 본 논문에서는 에이전트 중심 시점을 위한 원근 행위자와 선택된 세계 영역을 지켜보는 하나 이상의 파노라마 관찰자를 결합하여 생성함으로써 관찰과 행동을 분리하는 World Observer를 제안합니다. 이를 통해 행위자의 시야를 벗어난 물체도 관찰자 시점 내에서 시각적으로 지속해서 변화할 수 있어, 다시 시야에 들어올 때 업데이트된 상태가 반영됩니다. 명시적인 기하학적 대응을 위해 공유된 파노라마 소스로부터 워핑하여 행위자와 관찰자를 그라운딩(grounding)하며, 재진입 시 미세한 외형을 복원하기 위해 고해상도 원근 참조의 Observer Sink를 도입합니다. 관찰자는 행위자와 분리되어 있으므로 장면에 자유롭게 배치할 수 있고, 더 넓은 범위를 커버하기 위해 여러 위치로 확장할 수 있으며, 제어 신호로 구동하여 시야 밖의 변화를 유도할 수도 있습니다. 시야 밖 변화를 평가하기 위해 월드 공간 지표와 실제 및 가상 장면을 아우르는 벤치마크를 추가로 도입합니다. World Observer는 시각적 충실도, 카메라 제어 및 3D 일관성에서 경쟁력을 유지하면서 시야 밖 역학을 크게 향상시킵니다.
카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.