DuoMatching: 소수 스텝 비디오 생성을 위한 결합-주변 분포 매칭
DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
한국어 초록
스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.
원문 초록
Streaming video generation has benefited from distribution matching distillation (DMD), which matches the joint distribution of video frames to a video teacher's approximation of the real video distribution. Although this joint matching mitigates drift during autoregressive rollouts, limitations remain in visual quality and semantic alignment. To address these limitations, we propose DuoMatching, a distribution matching framework that approximates the real video distribution through a unified joint-marginal formulation. On top of existing joint matching formulations, the additional marginal matching objective provides dedicated frame-level supervision from an image generator, transferring complementary visual and semantic priors from it. To apply this frame-level supervision in video generation, we introduce LatentBridge to resolve the latent representation mismatch between the video student and the image teacher. Latent Variation Sampling further distributes such frame-level supervision across distinct temporal segments, reducing redundancy. Experiments demonstrate that DuoMatching improves visual quality, composition, and semantic alignment while largely preserving motion dynamics. Human evaluations show overall preference rates above 80% against all evaluated baselines. The project page is available at https://johnzhan2023.github.io/DuoMatching/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭
DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation
분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.
다중 대역폭 분포 매칭 증류: 분포 매칭 증류와 Drifting Model의 동치성에 관하여
Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
연구자들은 효과적인 원스텝 생성 모델(one-step generative model)을 지속적으로 탐구하고 있으며, Drifting Models(Deng et al., 2026)는 최근 원스텝 생성(one-step generation)에서 큰 가능성을 보여주고 있다. 디퓨전 및 플로우 스타일 생성 모델(Diffusion & Flow Style Generative Models, DFSGMs)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)과 Drifting Models(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026) 사이의 연관성을 밝힌 연구들이 존재한다. 그러나 우리가 아는 한, Drifting Model과 널리 사용되는 증류(distillation) 방법인 분포 매칭 증류(Distribution Matching Distillation, DMD/DMD2)(Yin et al., 2024b;a) 사이에 정확한 대응 관계를 수립한 연구는 아직 없으며, 이는 두 방법의 최적화 목적 함수가 거의 동일함에도 그러하다. 본 논문에서는 사전학습된(pre-trained) DFSGMs의 속도장(velocity-field)/노이즈장(noise-field)을 Drifting Models의 인력장(attraction force field)으로 변환하고, 생성 분포(generative distribution)로부터 반발력장(repulsion force field)을 추정함으로써, Drifting Model의 학습이 분포 매칭 증류와 자연스럽게 동치임을 증명한다. 이러한 동치 개념을 바탕으로, Drifting Model의 관점에서 DMD를 개선한 방법인 다중 대역폭 분포 매칭 증류(Multi-Bandwidth Distribution Matching Distillation, MBDMD)를 제안한다.
Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리
Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
이미지가 말을 걸어온다: 이미지-투-텍스트 피드백 억제를 통한 MMDiT 가이딩
Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback
멀티모달 디퓨전 트랜스포머(MMDiT)는 조인트 어텐션을 통해 진화하는 이미지가 내부 텍스트 표현을 갱신할 수 있도록 한다. 이렇게 갱신된 표현은 이후의 이미지 업데이트를 가이드하는데, 이는 다음과 같은 질문을 제기한다: 이 피드백은 프롬프트로부터의 이탈을 교정하는 데 도움을 주는가, 아니면 그것을 그대로 보존하는가? 우리는 이미지-투-텍스트(I2T) 피드백이 진화하는 이미지에 이미 표현된 객체와 속성을, 오류를 포함하여 그대로 보존할 수 있음을 발견했다. I2T 메시지를 이식(transplant)하면 실패를 구제하거나 성공을 무너뜨릴 수 있다. 동일한 강도의 개입에서, I2T 피드백의 영향을 억제하면 생성 결과가 개선되는 반면, 반대 방향의 제어는 이를 저하시킨다. 이러한 발견은 시맨틱 피드백 가이던스(Semantic Feedback Guidance, SFG)를 제안하는 동기가 되었는데, 이는 이 피드백을 강화하고 텍스트-투-이미지 컨디셔닝을 약화시키는 보조 분기(auxiliary branch)로부터 멀어지도록 가이드함으로써 I2T 피드백의 영향을 억제한다. 제자리(in-place) 변형인 iSFG는 추가적인 모델 평가 없이 I2T 피드백을 직접 억제하고 텍스트-투-이미지 컨디셔닝을 강화한다. 시간적 개입(temporal intervention)에 대한 분석은 이미지 샘플링 단계의 처음 20% 동안 SFG 분기를 실행하도록 유도하며, 이는 분류자 없는 가이던스(classifier-free guidance, CFG) 없이 기본 NFE의 약 1.2배를 필요로 한다. 세 가지 이미지 생성 백본에 대한 실험에서 정합성(alignment) 및 선호도 모델(preference-model) 점수가 향상되었음을 보여준다. FLUX에서는 CFG에 SFG를 추가하면 GenEval이 0.6661에서 0.7479로 상승하며, SD3.5M에서는 iSFG가 추가 NFE 없이 CFG 대비 HPSv2.1을 +1.33 향상시킨다. 이 제어 기법은 텍스트-투-비디오 및 이미지-투-비디오 생성에도 전이되어 VBench 점수를 향상시킨다. 코드는 https://github.com/yyc1215lll-creator/SFG 에서 확인할 수 있다.
InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스
InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.
병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성
Real-Time Joint Audio-Video Generation by Parallel Adapter Composition
실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.