arXiv:2610.03221v1 cs.CV

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

Yutong Wang, Xingtong Ge, Enhuai Liu, Yunke Wang, Tianfan Xue, Yu Qiao, Yaohui Wang, Xinyuan Chen, Chang Xu

제출 2026-10-02

한국어 초록

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

원문 초록

Video creation spans text-to-video (T2V), image-to-video (I2V), and condition-based generation, yet video diffusion models remain costly because they repeatedly evaluate large backbones during sampling. Distribution matching distillation (DMD) reduces this cost, but its reverse Kullback--Leibler (KL) objective can provide unstable or incomplete guidance when the student and teacher distributions have limited overlap. VDOT addressed this issue by adding optimal transport distillation (OTD), whose explicit coupling supplies geometric directions for condition-based generation. Balanced OTD, however, performs full-mass matching between the spatial tokens of each corresponding student--teacher frame pair. This assumption weakens for T2V and I2V, where one condition admits many valid outputs and spatial content need not align across different realizations. We present VDOT++, a unified distillation framework that applies the same training recipe separately to generators for the three task families. It makes OTD robust to output diversity through an asymmetric unbalanced formulation that allows unreliable student tokens to carry less mass while maintaining coverage of the teacher tokens. An $\ell_1$ ground cost further replaces mean-based aggregation with a more mode-preserving weighted median that limits the influence of distant transport targets. The two changes respectively determine whom to match and how the selected targets should be aggregated. We additionally combine distribution matching and adversarial refinement through sequential backward passes, and exploit the decoupled score networks for cross-scale distillation, where larger score networks improve a compact generator. Experiments on UVCBench, VBench, VBench-I2V, and the VACE benchmark show that the resulting four-step generators are competitive with many-step teachers and strong few-step baselines across all three task families.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03221v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23153v2cs.CV공통 태그 Knowledge Distillation, Video Generation, text-to-video

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2607.24731v2cs.CV공통 태그 Knowledge Distillation, Video Generation, diffusion distillation

온-정책 확산 증류에서 Classifier-Free Guidance 재고

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

온-정책 증류(on-policy distillation, OPD)는 현재 student가 생성한 궤적을 따라 teacher를 질의함으로써 확산 모델을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance(CFG) 하에서 어떻게 동작해야 하는지는 여전히 잘 이해되지 않았다. 기존 OPD 방법은 속도 매칭(velocity matching)을 CFG로 합성된 예측에 자연스럽게 확장하여, teacher와 student의 guided velocity를 직접 일치시킨다. 우리는 이 목적 함수가 분기(branch) 수준에서 식별 불가(under-identified)임을 보인다. positive 분기와 negative 분기의 오류가 guided prediction에서 서로 상쇄될 수 있다. 두 대조적인 사례를 통해, naive matching이 공유 negative conditioning 하에서는 여전히 효과적이며, 두 분기 오류가 함께 감소함을 발견한다. 그러나 모델의 기본 CFG 스키마가 teacher의 negative 분기에 student가 접근할 수 없는 특권 정보(privileged information)를 유지하는 경우, 이러한 공동 감소는 붕괴되고, 합성된 목적 함수는 적대적인 분기-오류 역학을 유발하여 positive 분기 오류는 줄이면서 negative 분기 오류는 증가시킨다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry(NBA)라고 부른다. NBA를 해결하기 위해, positive 예측과 CFG 조건부 방향을 각각 제약하는 분기 인식(branch-aware) OPD 목적 함수인 Positive-Direction Matching(PDM)을 제안한다. PDM을 dense-to-sparse 비디오 제어에 적용한다. 여기서 naive guided matching은 추론 guidance scale에 매우 민감한 반면, 분기 인식 supervision은 더 견고하고 효과적인 지식 전달을 가능하게 한다.

arXiv:2610.10343v2cs.CV공통 태그 Knowledge Distillation, Video Generation

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2609.20744v3cs.LG공통 태그 Knowledge Distillation, Video Generation

Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션

Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.

arXiv:2610.02427v1cs.LG공통 태그 Knowledge Distillation, diffusion distillation

플로우 맵 증류를 위한 기하학 인지 시간 재매개변수화

Geometry-Aware Time Reparameterization for Flow-Map Distillation

플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.