본 논문에서는 키보드 입력으로 The King of Fighters '97(KOF~'97)의 실시간 2인 대전 게임플레이를 시뮬레이션하는 생성형 게임 엔진 WanToFight를 제안한다. 기존 생성형 게임 엔진은 단일 플레이어 1인칭 설정이거나 비실시간 협력 시나리오를 대상으로 했으며, 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 함께 다룬 사례는 없었다. WanToFight는 Wan-1.3B 비디오 확산 트랜스포머를 기반으로 한 세 가지 구성 요소로 이 격차를 메운다: 블록 인과(block-causal) 어텐션과 롤링 KV 캐시를 갖춘 스트리밍 자기회귀 생성기, 각 플레이어의 키보드 신호를 캐릭터 정체성에 연결하는 시각적 그라운딩 기반 Player Association 모듈, 단일 플레이어에서 전체 게임플레이로 이어지는 커리큘럼으로 학습된 게이트형 국소 인과 키보드 주입 모듈. 4단계 DMD 증류(distillation) student와 가지치기(pruned)된 VAE 디코더를 결합하면, 단일 NVIDIA RTX 5090에서 완전한 한 경기 동안 512×384 해상도로 30FPS를 유지한다. 알고 있는 한 WanToFight는 하나의 시스템에서 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 결합한 최초의 생성형 게임 엔진이다.
대규모 비디오 확산 백본 위에 구축된 주행 월드 모델은 사실적인 장면을 생성하지만 제어하기가 어렵다. 교통 규범을 적용하려면 일반적으로 백본을 재학습하거나 수작업으로 구성된 레이아웃으로 조건화해야 한다. 우리는 제어 가능성이 학습을 전혀 필요로 하지 않을 수 있는지 묻는다. 우리의 실험은, 미래 비디오와 계획된 자아 궤적을 공동으로 생성하는 정류 흐름(rectified-flow) 기반 주행 월드 모델이, 확산 백본의 특정 지식 재학습 없이 주행 규범을 인코딩하는 미분 가능한 에너지 함수를 샘플링 시점에 주입함으로써 계획된 궤적을 완전히 조향할 수 있음을 보여준다. 구체적으로, Open-Sora 2.0 MM-DiT 백본 위에 구축된 월드 모델이 샘플링 시점에 에너지 가이던스를 주입하여 반사실적 목표 지점에서 제동하도록 조향될 수 있음을 시연한다. 그러나 생성된 비디오는 백본의 공동 셀프 어텐션을 통한 조향된 궤적을 아직 따르지 않음을 발견하였으며, 종단 간 제어 가능한 롤아웃을 위한 핵심 요건으로 교차 스트림 결합(cross-stream coupling)을 식별한다.
기존 동적 인간 퍼포먼스의 체적 캡처는 밀집 카메라 어레이를 통해 높은 충실도를 달성한다. 그러나 실제 환경에서는 소수의 저중첩 카메라만 사용 가능하며, 이로 인해 출력 품질이 저하되고 넓은 영역이 미관측 상태로 남게 된다. 최근 4D 재구성 방법들은 저중첩 환경에 초점을 맞추고 있지만, 미관측 영역에서 여전히 눈에 띄는 아티팩트를 생성한다. 비디오 디퓨전 모델이 또 다른 선택지로 부상했으나, 인간에 대해 기하학적으로 일관성 없는 결과를 보인다. 이러한 한계를 해결하기 위해, 우리는 배경과 인간을 분리하여 희소한 저중첩 카메라로부터 4D 인간 장면을 재구성하는 파이프라인인 StudioRecon을 제안한다. 우리는 비디오 디퓨전 모델을 통해 카메라 제어 방식으로 수백 개의 새로운 시점을 합성하여 배경 감독을 밀집화한다. 또한 교차 시점 개체 연관 및 삼각측량 다중 시점 키포인트 피팅을 통해 변형 가능한 가우시안 인간을 강건하게 초기화한다. 마지막으로, 모션 적응형 일관성 주입을 갖춘 재귀적 향상 모듈이 합성된 출력을 조화롭게 만들어 잔여 아티팩트를 추가로 제거한다. 우리는 네 개의 실세계 데이터셋에서 최첨단 새로운 시점 합성을 달성하고, 새로운 궤적 렌더링 및 인간 교체와 같은 응용 사례를 시연한다.
대규모 비디오 확산 및 플로우 모델은 고품질 비디오 생성에서 괄목할 만한 성과를 거두었지만, 비효율적인 다단계 샘플링 과정으로 인해 실시간 인터랙티브 애플리케이션에서의 활용은 여전히 제한적이다. 본 연구에서는 비디오 확산 모델을 효율적인 소수 단계 생성기로 증류하는 새로운 프레임워크인 전이 매칭 지식 증류(TMD, Transition Matching Distillation)를 제안한다. TMD의 핵심 아이디어는 확산 모델의 다단계 노이즈 제거 궤적을, 각 전이가 경량 조건부 플로우로 모델링되는 소수 단계 확률적 전이 과정에 매칭하는 것이다. 효율적인 증류를 위해, 원래의 확산 백본을 두 가지 구성 요소로 분해한다: (1) 각 외부 전이 단계에서 의미론적 표현을 추출하는 대부분의 초기 레이어로 구성된 메인 백본, (2) 이 표현을 활용하여 다수의 내부 플로우 업데이트를 수행하는 마지막 몇 개의 레이어로 구성된 플로우 헤드. 사전학습된 비디오 플로우 모델이 주어지면, 먼저 플로우 헤드를 모델에 도입하고 이를 조건부 플로우 맵으로 적응시킨다. 이후 각 전이 단계에서 플로우 헤드 롤아웃을 포함한 학생 모델에 분포 매칭 지식 증류를 적용한다. Wan2.1 1.3B 및 14B 텍스트-투-비디오 모델의 증류에 대한 광범위한 실험을 통해 TMD가 생성 속도와 시각적 품질 사이에서 유연하고 강력한 트레이드오프를 제공함을 입증한다. 특히 TMD는 비슷한 추론 비용 조건에서 시각적 충실도 및 프롬프트 준수 측면에서 기존 증류 모델을 능가한다. 프로젝트 페이지: https://research.nvidia.com/labs/genair/tmd
희소 이벤트 스트림에서 고품질 비디오를 복원·예측·보간하는 통합 프레임워크 LongE2V를 제안하며, 사전학습된 비디오 확산 모델(CogVideoX)을 파인튜닝하여 텍스처 흐림과 장기 시간적 드리프트 문제를 해결한다. 자기회귀적 언롤링(Autoregressive Unrolling), 적응형 컨텍스트 전환, 교차 잔차 보정을 포함한 재인코딩 정렬 기법을 도입하여 실세계 벤치마크 세 가지 과제 모두에서 최첨단 방법을 능가하고 제로샷 일반화를 달성했다.
소수 단계 자기회귀(AR) 비디오 확산 모델의 장기 롤아웃에서 발생하는 오류 누적과 모션 다이나믹 약화 문제를 해결하기 위해, OPSD-V는 실제 장편 비디오 데이터를 시간적 컨텍스트로 활용해 교사 모델의 KV 캐시를 정제하고 학생 모델의 온-정책 롤아웃에 조밀한 디노이징 수준의 지도를 제공하는 사후학습 자기 지식 증류(self-distillation) 패러다임이다. Self-Forcing과 LongLive에 적용한 실험에서 VBenchLong 점수, 시각적 품질, 모션 다이나믹 모두 일관된 향상을 보였으며, 사용자 연구에서 66.0%의 전반적 선호도를 기록했다.
사전학습된 비디오 확산 모델(video diffusion model)의 내부 표현을 활용해 에고센트릭 영상에서 4D 양손 자세를 재구성하는 ViDiHand를 제안하며, 손 오버레이 렌더링 목적함수로 모델을 적응시켜 검출기·인필러·테스트 시간 최적화 없이 동작한다. ARCTIC, HOT3D, HOI4D 벤치마크에서 기존 방법 대비 검출 오류율을 최대 27배, 예측 지터를 최소 4배 감소시키며 최첨단 성능을 달성했다.
CG 시뮬레이터로 생성한 소규모 합성 데이터셋을 기반으로, Motion-Context-LoRA와 Style-Alignment-LoRA 두 모듈을 활용해 단일 인물 이미지에서 물리적으로 그럴듯한 헤어 모션을 합성하는 디퓨전 기반 파이프라인 HairWeaver를 제안한다. Style-Alignment-LoRA는 CG 도메인 갭을 극복하기 위한 학습 전용 모듈로 추론 시 제거되며, 결과적으로 약 1,000개의 영상만으로 학습하여 기존 최첨단 방법 대비 더 사실적이고 세밀한 헤어 애니메이션을 달성한다.
단일 이미지에서 물리적으로 일관된 3D 동적 콘텐츠를 생성하기 위해, PhyMAGIC은 사전학습된 이미지-투-비디오 모델로 다양한 motion probe를 합성하고 비전-언어 모델(VLM)의 신뢰도 점수 기반 반복 정제를 통해 밀도·탄성·항복 응력 등 물리 속성을 추론한 뒤, 미분 가능한 Material Point Method(MPM) 시뮬레이터에서 실행하는 학습 불필요(training-free) 프레임워크다. PhysGaussian, PhysGen 등 다양한 실험에서 기존 최신 비디오 생성 모델 및 물리 인식 기반 모델 대비 동작-텍스트 정렬과 물리적 타당성 모두에서 우수한 성능을 달성했다.
ProxyPose는 단안 비디오에서의 6자유도(6-DoF) 자세 추적 문제를 비디오-투-비디오 변환(video-to-video translation)으로 재정식화하여, 3D 모델이나 깊이 맵 등 추가 입력 없이 첫 프레임의 단일 픽셀만으로 파인튜닝된 비디오 확산 모델(video diffusion model)이 색상 다면체의 프록시 비디오를 생성하고 고전적 자세 추정 알고리즘으로 6-DoF 궤적을 복원한다. 합성 데이터만으로 파인튜닝한 후에도 최첨단 정확도를 달성하며, 텍스처 없는 표면·투명 재질·변형 가능한 물체는 물론 얼굴 추적과 카메라 자세 추정까지 확장 가능함을 보인다.
Wan2.2-5B 서버급 모델을 순환 증류(recurrent distillation)와 학습 가능한 어텐션 헤드 가지치기, 샘플링 단계 증류, 메모리 최적화 VAE 디코딩을 결합해 모바일 기기에 배포 가능하도록 압축한 MobileWan을 제안하며, 상용 모바일 기기에서 20초 내에 480×832 해상도의 5초 영상을 16 FPS로 생성하고 VBench 83.79점으로 모바일 비디오 생성 최고 성능을 달성했다.
비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.
대규모 생성 모델의 최근 발전은 비디오 생성 분야를 크게 진전시켰으나, 기존 방법들은 여전히 경직된 추론 패러다임에 제약을 받고 있다. 양방향 확산 모델은 전역적 일관성과 시각적 충실도에서 뛰어나지만 느린 추론 속도가 단점이며, 자기회귀(autoregressive) 모델은 효율적이고 스트리밍 방식의 생성을 제공하지만 장거리 일관성 및 노출 바이어스 문제를 수반한다. 우리는 Flex-Forcing를 소개한다. 이는 비디오 확산 모델이 양방향 생성 방식과 자기회귀 생성 방식 모두에서 원활하게 동작할 수 있도록 하는 통합 학습 및 추론 프레임워크이다. 핵심 아이디어는 시간 축과 노이즈 제거 단계에 걸쳐 공동으로 정의된 유연한 청킹(chunking) 메커니즘이다. 이 설계를 통해 모델은 (1) 다양한 디바이스 예산에 맞게 유연한 청킹을 수행하고, (2) 전역 구조 계획을 위해 청크 간 양방향 추론을 수행하면서 효율적이고 세밀한 합성을 위해 각 청크 내에서 프레임을 자기회귀 방식으로 생성하며, (3) 엄격한 인과적 제약 없이 임의 순서·임의 타임스텝의 자기회귀 생성을 수행할 수 있다. 다수의 비디오 생성 벤치마크에서 수행한 광범위한 실험을 통해, Flex-Forcing는 경직된 추론 스케줄을 사용하는 강력한 베이스라인 대비 일관되게 더 우수한 비디오 품질과 장시간 비디오 안정성을 달성하면서도 더 빠른 추론 속도를 제공함을 입증한다.
현대의 이미지-텍스트-비디오 확산 모델은 참조 이미지와 텍스트 입력을 조건으로 초기 가우시안 노이즈 텐서를 반복적으로 노이즈 제거하여 매우 사실적인 비디오를 합성할 수 있다. 그러나 기존 접근법들은 단일 생성 프로세스 내에서 객체 모션과 카메라 모션 모두에 대한 정밀하고 통합된 제어 가능성이 여전히 부족하다. 우리는 확산 모델의 입력 노이즈를 직접 구성하여 객체 궤적과 카메라 시점을 동시에 제어할 수 있는 통합 프레임워크인 UniCaMo를 제안한다. 구체적으로, UniCaMo는 잠재 비디오 프레임 전체에 걸쳐 공유된 3D 기반 모션 일관성 노이즈 공간을 구축한다. 희소 3D 포인트 트랙을 사용하여 참조 프레임의 가우시안 노이즈를 원하는 객체 궤적을 따라 워핑하며, 가상 구면 노이즈 표현은 카메라 모션에 따라 새롭게 드러나는 장면 영역에 대해 전역적으로 일관된 노이즈 값을 제공한다. 지역적인 트랙 기반 노이즈 워핑과 전역적인 구면 기반 노이즈 샘플링을 결합함으로써, UniCaMo는 객체 이동과 시점 변화 모두에서 기하학적 및 시간적 일관성을 유지한다. UniCaMo는 입력 노이즈만을 수정하기 때문에 기반 비디오 확산 모델에 보조 어댑터, 제어 브랜치, 또는 아키텍처 변경이 필요하지 않다. Wan 2.1 (14B)을 포함한 대규모 사전학습 비디오 확산 모델에 경량 LoRA 미세조정을 적용하여, UniCaMo는 표준 제어 가능한 비디오 생성 벤치마크에서 비디오 품질과 모션 제어 가능성 모두에서 최고 성능을 달성한다.
QWERTY는 사전학습된 이미지-to-비디오 비디오 확산 트랜스포머(DiT)에서 추가 학습 없이 유연한 모션 제어를 가능하게 하는 프레임워크로, 쿼리의 프레임 불변 의미론적 부분공간을 워핑하여 3D 전체 어텐션을 조작한다. 의미론적-시간적 채널 분해(STCD)를 통해 프레임 비일관성 문제를 해결하고, 쿼리 워핑 노이즈를 잠재 최적화의 자기 지도로 활용함으로써 기존 학습 없는 방법 중 최고 수준의 모션 제어 성능을 달성하며 파인튜닝 기반 방법에 근접한 결과를 보인다.
비디오 생성용 Diffusion Transformer(DiT)의 셀프-어텐션 이차 복잡도 문제를 해결하기 위해, MOD-DiT는 어텐션 맵이 블록-대각선, 주대각선 평행, 수직 세 가지 패턴의 동적 혼합으로 구성된다는 사실을 활용하여 샘플링 없이 디노이징 단계별 스파스 마스크를 선형 근사로 예측한다. 다수의 벤치마크에서 Wan2.1 대비 1.75×, HunyuanVideo 대비 2.05× 추론 가속을 달성하면서 생성 품질을 유지함을 입증했다.
자기 재샘플링(self-resampling)을 통해 훈련 중 추론 시의 오류를 시뮬레이션하는 교사 모델 없는 종단간 학습 프레임워크 Resampling Forcing를 제안하여, 자기회귀 비디오 확산 모델의 노출 편향(exposure bias) 문제를 해결한다. 희소 인과 마스크와 파라미터 없는 히스토리 라우팅 메커니즘을 결합해 장기 비디오 생성에서 증류 기반 기준선과 동등한 품질을 달성하면서도 더 우수한 시간적 일관성을 보인다.
GimbalDiffusion은 중력 방향을 전역 기준으로 삼는 절대 좌표계 기반 카메라 제어 프레임워크로, 360° 파노라마 영상을 학습 데이터로 활용해 기존 방법이 처리하지 못한 극단적인 피치·롤 회전을 포함한 다양한 카메라 궤적을 텍스트-비디오 생성 모델에 적용한다. 또한 프롬프트 내용과 카메라 방향의 충돌을 방지하는 null-pitch conditioning 기법과 극단적 카메라 앵글 및 프롬프트-카메라 얽힘(entanglement)을 평가하는 새로운 벤치마크를 제안한다.
자기회귀(AR) 비디오 확산 모델은 캐시된 시각적 컨텍스트를 활용해 비디오를 청크 단위로 합성함으로써 저지연 스트리밍 생성을 가능하게 하지만, 이러한 청크 단위 공식화는 시간적 지시 따르기를 모호하게 만든다. 단일 전역 프롬프트는 각 청크에서 어떤 하위 사건이 구현되어야 하는지 명시하지 않으며, 단계별 프롬프트로 단순 전환하는 경우 지연된 반응, 단계 의미의 혼합, 프롬프트 전환을 가로지르는 오류 전파가 종종 발생한다. 이러한 실패는 지도 미세조정이나 지식 증류만으로는 해결하기 어렵다: SFT는 노출 바이어스에 시달리며, 롤아웃 기반 지식 증류는 여전히 저수준 디노이징이나 교사 분포 매칭을 최적화할 뿐 행동 순서와 프롬프트 전환의 정확성을 직접 강제하지는 않는다.
이러한 과제를 TempAct로 해결한다. TempAct는 시간적으로 타당한 AR 비디오 생성을 위해 시간적 분해와 단계 조건 실행을 공동 최적화하는 플래너-실행자 강화학습 프레임워크이다. TempAct는 대규모 언어 모델(LLM) 플래너를 사용해 비디오 모델이 실행 가능한 구간 인식(span-aware) 단계 프롬프트를 탐험하고, AR 확산 실행자를 자체 생성 이력 하에서 이러한 프롬프트를 따르도록 학습한다. 핵심 메커니즘은 계층적 그룹 탐험이다: 후보 계획이 계획 그룹을 형성하고, 각 계획은 공유 시각적 컨텍스트에서 여러 연속 생성으로 구성된 실행 그룹을 유도하여, 장기 시간적 결과에 대한 계획 수준 신용 할당과 프롬프트 전환 행동에 대한 실행자 수준 신용 할당을 가능하게 한다.
또한 플래너에는 계획 품질과 전체 비디오 시간적 피드백을 결합한 계층적 보상을, 실행자에는 국소 전환 수준의 단계 따르기 보상, 미적 정규화, KL 제약을 설계한다. Self-Forcing과 LongLive에서의 실험은 TempAct가 전반적인 시각적 품질을 유지하면서 시간적 일관성을 향상시킴을 보여준다.
Exo-to-Ego 비디오 생성은 동기화된 3인칭 시점과 해당 카메라 포즈로부터 1인칭 비디오를 합성하는 것을 목표로 한다. 페어드(paired) 지도는 이용 가능하지만, 동기화된 exo-ego 데이터는 본질적으로 상당한 시공간적·기하학적 불연속성을 도입하여 표준 비디오 생성 벤치마크의 부드러운 움직임 가정을 위반한다. 우리는 이러한 동기화로 인한 점프(jump)를 핵심 과제로 식별하고, 소스와 타깃 비디오 사이를 보간하여 단일 연속 신호를 형성하는 순차적 공식화인 Syn2Seq-Forcing을 제안한다. Exo2Ego를 기존의 조건-출력(condition-output) 작업이 아닌 순차적 신호 모델링으로 재구성함으로써, 우리의 접근법은 확산 기반(diffusion-based) 시퀀스 모델(예: Diffusion Forcing Transformers, DFoT)이 프레임 간 일관된 전환을 더 효과적으로 포착할 수 있게 한다. 실험적으로, 포즈 보간 없이 비디오만 보간하는 것만으로도 이미 상당한 성능 향상을 달성함을 보여주며, 지배적인 난관이 시공간적 불연속성에서 비롯됨을 강조한다. 즉각적인 성능 향상을 넘어, 이 공식화는 Exo2Ego와 Ego2Exo 생성을 단일 연속 시퀀스 모델 내에서 통합할 수 있는 일반적이고 유연한 프레임워크를 확립하여, 교차 시점(cross-view) 비디오 합성 분야의 향후 연구를 위한 원칙적인 기반을 제공한다.