End-to-End Training for Autoregressive Video Diffusion via Self-Resampling
원문 초록
Autoregressive video diffusion models hold promise for world simulation but are vulnerable to exposure bias arising from the train-test mismatch. While recent works address this via post-training, they typically rely on a bidirectional teacher model or discriminator. To achieve an end-to-end solution, we introduce Resampling Forcing, a teacher-free framework that enables training autoregressive video models from scratch and at scale. Central to our approach is a self-resampling scheme that simulates inference-time model errors on history frames during training. Conditioned on these degraded histories, a sparse causal mask enforces temporal causality while enabling parallel training with frame-level diffusion loss. To facilitate efficient long-horizon generation, we further introduce history routing, a parameter-free mechanism that dynamically retrieves the top-k most relevant history frames for each query. Experiments demonstrate that our approach achieves performance comparable to distillation-based baselines while exhibiting superior temporal consistency on longer videos owing to native-length training.
요약
자기 재샘플링(self-resampling)을 통해 훈련 중 추론 시의 오류를 시뮬레이션하는 교사 모델 없는 종단간 학습 프레임워크 Resampling Forcing를 제안하여, 자기회귀 비디오 확산 모델의 노출 편향(exposure bias) 문제를 해결한다. 희소 인과 마스크와 파라미터 없는 히스토리 라우팅 메커니즘을 결합해 장기 비디오 생성에서 증류 기반 기준선과 동등한 품질을 달성하면서도 더 우수한 시간적 일관성을 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.15702v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OPSD-V: 사후 학습 기반 소수 단계 자기회귀 비디오 생성기를 위한 온-정책 자기 증류
OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators
우리는 사후 학습 소수 단계 자기회귀(AR) 비디오 확산 모델을 위한 온-정책 자기 증류 패러다임인 OPSD-V를 제안한다. 기존의 소수 단계 AR 비디오 생성기는 낮은 지연 시간으로 긴 영상을 생성할 수 있지만, 긴 자기회귀 롤아웃 과정에서 오류 누적 및 모션 다이나믹 약화 문제가 여전히 존재한다. OPSD-V는 원래의 소수 단계 추론 경로를 유지하면서 장기 열화(long-horizon degradation)를 줄인다. 핵심 아이디어는 학습 시 실제 장편 비디오 데이터를 시간적 컨텍스트로 도입하고, 이를 활용해 조밀한 트래젝터리 수준의 지도를 제공하는 것이다. 구체적으로, 학생(student) 모델은 추론 시와 동일한 롤아웃을 따르며 자신이 이전에 생성한 KV 캐시에 조건부로 각 청크를 생성한다. 동시에, 교사(teacher) 모델은 학생이 방문한 동일한 디노이징 상태에서 평가되지만, 오래된 히스토리를 실제 비디오 컨텍스트로 대체할 수 있는 더 깨끗한 AR 일관적 시간 캐시를 사용한다. 이를 통해 샘플러, 디노이징 단계 수, 추론 시 캐시 메커니즘을 변경하지 않고도 온-정책 AR 캐시 다이나믹 하에서 조밀한 디노이징 수준의 수정 타겟을 제공한다. 우리는 OPSD-V를 Self-Forcing 및 LongLive를 포함한 대표적인 소수 단계 AR 비디오 모델에 적용한다. 실험 결과, 시각적 품질, 모션 다이나믹, VBenchLong 점수에서 일관된 개선이 나타났다. 20개의 비디오 쌍을 비교한 10명의 참가자 사용자 연구에서 OPSD-V는 전체 선호도 평가의 66.0%(동점 제외 시 82.5%)에서 기본 모델보다 선호되었다.
Flex-Forcing: 통합 자기회귀 및 양방향 비디오 확산 모델을 향하여
Flex-Forcing: Towards a Unified Autoregressive and Bidirectional Video Diffusion Model
대규모 생성 모델의 최근 발전은 비디오 생성 분야를 크게 진전시켰으나, 기존 방법들은 여전히 경직된 추론 패러다임에 제약을 받고 있다. 양방향 확산 모델은 전역적 일관성과 시각적 충실도에서 뛰어나지만 느린 추론 속도가 단점이며, 자기회귀(autoregressive) 모델은 효율적이고 스트리밍 방식의 생성을 제공하지만 장거리 일관성 및 노출 바이어스 문제를 수반한다. 우리는 Flex-Forcing를 소개한다. 이는 비디오 확산 모델이 양방향 생성 방식과 자기회귀 생성 방식 모두에서 원활하게 동작할 수 있도록 하는 통합 학습 및 추론 프레임워크이다. 핵심 아이디어는 시간 축과 노이즈 제거 단계에 걸쳐 공동으로 정의된 유연한 청킹(chunking) 메커니즘이다. 이 설계를 통해 모델은 (1) 다양한 디바이스 예산에 맞게 유연한 청킹을 수행하고, (2) 전역 구조 계획을 위해 청크 간 양방향 추론을 수행하면서 효율적이고 세밀한 합성을 위해 각 청크 내에서 프레임을 자기회귀 방식으로 생성하며, (3) 엄격한 인과적 제약 없이 임의 순서·임의 타임스텝의 자기회귀 생성을 수행할 수 있다. 다수의 비디오 생성 벤치마크에서 수행한 광범위한 실험을 통해, Flex-Forcing는 경직된 추론 스케줄을 사용하는 강력한 베이스라인 대비 일관되게 더 우수한 비디오 품질과 장시간 비디오 안정성을 달성하면서도 더 빠른 추론 속도를 제공함을 입증한다.
Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double
HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크
SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation
비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.
Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기
Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training
본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.