플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.
소수 단계(few-step) 신경망 텍스트 음성 변환(text-to-speech) 모델은 단축된 확산(diffusion) 또는 플로우 매칭(flow-matching) 스케줄에 의존하거나, 사전학습된 다단계 교사 모델로부터의 지식 증류(distillation)에 의존하는 경우가 많습니다. 이러한 의존성을 피하기 위해, 본 논문에서는 생성 교사 모델, 지식 증류, 또는 적대적 판별자(adversarial discrimination) 없이 학습(training)되는 소수 단계 멜-스펙트로그램(mel-spectrogram) 생성기인 DriftTTS를 제안합니다. DriftTTS는 원본 멜과 동일한 LJSpeech 학습 분할에서 사전학습된 동결된 마스크드 오토인코더(masked-autoencoder) 인코더로 정의된 멜 도메인 특징(feature) 공간에서 분포 매칭 드리프트(distribution-matching drift) 목적 함수를 사용합니다. 온-정책(on-policy) 롤아웃(rollout)은 디코더를 자체 중간 상태에서 학습시키며, 학습된 롤아웃 깊이까지의 추론(inference)을 지원합니다. LJSpeech에서 NFE=4일 때 DriftTTS는 Matcha-TTS의 3.85 dB 및 3.4%와 비교하여 3.87 dB MCD 및 3.7% WER을 달성합니다. 완전 쌍체 블라인드 청취 테스트에서 DriftTTS는 Matcha-TTS의 3.96 및 실제 정답(ground truth)의 4.22와 비교하여 4.18 MOS를 기록합니다. 이러한 결과는 사전학습된 생성 교사 모델 없이도 경쟁력 있는 소수 단계 합성이 가능함을 보여줍니다. 코드는 https://github.com/BASHLab/driftTTS.git 에서 확인할 수 있습니다.
스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.
궤적 교차(trajectory crossing)는 플로우 매칭(Flow Matching, FM)에서 여전히 중요한 병목 현상으로 남아 있으며, 이전 연구들은 일반적으로 이러한 교차를 속도 평균화(velocity averaging)를 유발하는 이론적 최적화(optimization) 관점에서 바라보았습니다. 이들은 중간 궤적을 명시적으로 조절하지 않고 사후 증류(distillation)나 종점 결합(endpoint coupling)을 통해 이를 간접적으로 해결하고자 했습니다. 본 논문에서는 새로운 네트워크 학습(training) 관점을 제시합니다. 즉, 교차점은 본질적으로 목표 속도장(velocity field)에서 큰 국소 립시츠 상수(local Lipschitz constant)를 유발하며, 이는 두 가지 단점으로 이어집니다. 첫째, 높은 립시츠 상수는 신경망이 스펙트럼 바이어스(spectral bias)로 인해 적합(fit)하기 어려워하는 속도장의 고주파 신호에 해당합니다. 둘째, 이는 급격한 속도 변화를 의미하기도 하여 소수 단계 추론(inference)에서 심각한 수치 적분 오차를 초래합니다. 이를 완화하기 위해, 학습 중에 궤적을 명시적으로 밀어내어 속도장의 국소 립시츠 상수를 낮추도록 FM에 대조 학습(contrastive learning) 패러다임을 도입하는 프레임워크인 CoFlow를 제안합니다. 구체적으로, 반발성 드리프트 항(repulsive drift term)을 주입하여 확률 미분 방정식(SDE) 관점에서 CoFlow를 정식화합니다. 이 드리프트는 양성 샘플의 순방향 과정을 음성 궤적으로부터 능동적으로 멀어지게 유도하여 국소 립시츠 상수를 효과적으로 감소시킵니다. 나아가, 이 SDE로부터 등가의 확률적 보간기(stochastic interpolant) 정식화를 유도하여 음성 샘플의 영향을 제어할 수 있는 간단하고 다루기 쉬운 설계 공간을 제공합니다. ImageNet 256x256에 대한 광범위한 실험을 통해 CoFlow가 추가적인 학습 오버헤드 없이 소수 단계 추론(예: 20단계)에서 표준 FM 대비 FID를 크게 감소시킴을 입증합니다. 코드는 https://github.com/HKUST-LongGroup/CoFlow 에서 확인할 수 있습니다.
사전학습된 확산(diffusion) 및 플로우(flow) 모델을 이용한 소수 스텝(few-step) 생성은 네트워크가 아니라 샘플링 궤적을 최적화하는 경량 학습으로 가속할 수 있다. 최근의 한 접근법은 확률적 보간(stochastic interpolant, SI) 스케줄러를 부드러운 곡선으로 매개변수화하며, 이 곡선의 제어점은 SI 스케줄러가 만족해야 하는 세 가지 성질, 즉 고정된 경계 조건, 단조 신호 대 잡음비(SNR), 그리고 미분 가능성을 강제한다. 기존 매개변수화는 전역적으로 지지되는(globally supported) 다항식 기저를 사용하는데, 이 경우 모든 제어점이 곡선 전체를 움직이고 표현력을 높이려면 더 높은 차수가 필요하므로, 최적화 과정에서 스케줄의 멀리 떨어진 구간들이 서로 결합된다. 본 논문은 적분 단조 스플라인(integrated monotone splines, I-splines)으로 스케줄러를 매개변수화하는 *I-SplineFlow*를 제안한다. I-spline은 다항식 차수와 혼합 가중치(mixture weight)의 개수를 분리하므로, 가중치 개수를 고정한 채 모델마다 지지 폭(support width)과 매끄러움을 선택할 수 있으며, 컴팩트하게 지지되는 도함수 기저 덕분에 스케줄러 야코비안(Jacobian)의 조건수가 Bézier 기저보다 수 자릿수 더 좋다. 경계 조건과 엄격하게 단조인 SNR은 매개변수에 대한 순서 제약 없이 구성 자체로 보장되며, 속도(velocity)의 도함수는 닫힌 형태(closed-form)로 얻어진다. 확산(EDM) 모델과 플로우(ReFlow, Simple ReFlow) 모델 전반에서 I-SplineFlow는 대부분의 설정에서 Bézier 스케줄링보다 소수 스텝 FID를 개선하며, 특히 가장 낮은 NFE에서 그 개선이 가장 뚜렷하고, 학습에는 수 분밖에 걸리지 않는다. 절제 실험(ablation)은 차수의 자유도와 단조성 제약이 모두 필요함을 보여준다. 코드는 논문 채택 시 공개될 예정이다.
이산 확산(Discrete diffusion) 모델의 조건부 독립 가정이 퓨스텝 생성 시 병렬화 바이어스를 유발하는 문제를 해결하기 위해, 텐서 분해(Canonical Polyadic Decomposition 및 Tensor-Train Decomposition)를 통해 결합 분포를 명시적으로 모델링하는 최초의 프레임워크를 제안한다. TTD는 Oseledets 정리에 기반한 인접 토큰 간 의존성 포착에 구조적으로 유리하며, 사전학습된 MDM에 경량 파인튜닝으로 통합해 OpenWebText에서 VADD 대비 8스텝 생성 perplexity를 32.7% 개선했다.
본 논문에서는 플로우 매칭(flow matching) 모델의 소수 단계 생성을 위한 간단하면서도 효과적인 프레임워크인 퍼셉추얼 플로우 매칭(Perceptual Flow Matching, PFM)을 제안한다. PFM은 기존의 VAE 잠재 공간에서 속도 회귀(velocity regression)를 수행하는 대신, 사전학습된 퍼셉추얼 모델을 사용하여 퍼셉추얼 특징(feature) 공간에서 플로우 매칭을 감독한다. 이 간단한 변경만으로 플로우 매칭 모델의 소수 단계 생성 능력이 크게 향상되어, 생성 품질을 유지하면서 샘플링 단계 수를 35~50단계에서 4~8단계로 줄일 수 있다. 기존의 가속화 및 지식 증류(distillation) 방법과 달리, PFM은 교사 모델이나 보조 스코어 네트워크를 필요로 하지 않으며, 최소한의 수정만으로 표준 플로우 매칭 학습(training) 파이프라인에 통합될 수 있다. 이미지 생성, 비디오 생성, 이미지 편집 태스크에 대한 광범위한 실험을 통해 PFM이 기존 지식 증류 기반 방법보다 아티팩트를 적게 생성하면서 일관되게 고품질 결과를 산출함을 입증한다. 또한 퍼셉추얼 감독이 회귀 최솟값을 평균 추구(mean-seeking)에서 모드 추구(mode-seeking)로 전환시켜, 거친 소수 단계 적분 하에서도 정확성을 유지하는 매니폴드 상의 모드(on-manifold mode)로 예측을 편향시킴을 보인다. 본 연구 결과는 적절한 표현 공간에서 감독될 때 표준 플로우 매칭 학습이 자연스럽게 고품질 소수 단계 생성기를 산출할 수 있음을 밝힌다. 이 통찰이 효율적인 생성 모델링을 위한 표현 인식 목적 함수에 관한 향후 연구에 영감을 주길 바란다.
Deterministic few-step generation succeeds on continuous image latents but collapses to incoherent text on continuous text latents, and we show the cause is geometric rather than a training or scaling deficiency: a smooth, regularity-limited deterministic map cannot resolve a discrete branch choice before a sharp categorical readout, so few-step failure is governed by decoder sharpness, not transport accuracy. In the overlapping regime of real text autoencoders, we prove (Theorem 3) that the posterior-mean terminal step flips tokens at the rate of the latent mass in an $O(s(t))$ tube around decision boundaries. Two diagnostics, DABI (readout sharpness) and CCI (categorical commitment), measured on published checkpoints show that four independently built continuous-text decoders amplify a boundary-aligned perturbation far beyond a norm-matched isotropic one (DABI from $5\times10^{2}$ to $>10^{5}$), while image decoders have DABI $\approx 1$. Two mechanisms escape the continuous bound: categorical commitment (autoregressive decoders succeed despite sharper readouts) and stochastic re-injection (deterministic ODE at $K=4$ gives PPL 294 versus SDE 50 on the same model). In the idealized separated regime we prove matching sharp transport laws, including a dimension phase diagram: the deterministic stiffness needed to separate $M$ modes grows as $Θ(\sqrt{\log M})$ once the latent dimension is $Ω(\log M)$ (and as $M^{1/n}$ in fixed dimension), with a depth-$B$ hierarchy giving a $\sqrt{B}$-smaller per-step peak (Theorems 5-7); a coarea identity links these to the overlapping tube (Theorem 17). The result is an accuracy-depth-stiffness tradeoff: within the deterministic-continuous class the cost is irreducible, and both escapes step outside it.
리플로우(reflow) 기반 지식 증류에서 궤적 매칭(trajectory matching)만으로는 학생 모델이 유도하는 주변 분포(marginal distribution)를 완전히 결정하지 못한다는 이론적 한계를 규명하고, 이를 해결하기 위해 보조 학습 가능 네트워크나 적대적 최적화 없이 각 증류 구간 끝점에서 학생-교사 주변 분포 불일치를 패널티로 부과하는 주변 정렬(marginal-alignment) 정규화기를 제안한다. SD 1.5, SDXL 등 벤치마크에서 소수 단계 생성 품질을 일관되게 개선함을 실험으로 검증하며, 텔레스코핑 총 변동(telescoping total-variation) 상한을 통해 이론적 보장도 함께 제시한다.
비디오 확산 모델의 소수 스텝 지식 증류(distillation)는 실제 응용에서의 효율적 배포에 대한 긴급한 수요에 힘입어 상당한 주목을 받고 있다. 그러나 주류 패러다임인 분포 매칭 증류(Distribution Matching Distillation, DMD)는 제한된 NFE(함수 평가 횟수) 예산 하에서 성능이 저하되는 경향이 있으며, 비디오 생성에서는 레이아웃 불안정, 과포화(oversaturation), 모션 다이내믹스 붕괴로 나타난다. 우리는 이 실패를 구조적 한계로 귀인한다. 표준 DMD는 좌표별 그래디언트를 갖는 샘플 내(intra-sample) 분포 매칭 목적 함수이므로, 배치 요소들 또는 시간 프레임 간 관계적 기하학에 대한 명시적 제약을 부과하지 않아 근본 코퓰러(copula)를 거의 규제하지 못한다. 역 KL(reverse-KL) 목적 함수의 모드 추구(mode-seeking) 성향과 결합되어, 이러한 관계적 가이던스의 부재는 DMD가 소수 스텝 영역에서 국소 최적해로 붕괴하기 쉽게 만든다. 이 통찰에 영감받아, 우리는 동결된 교사 모델과 온라인 fake 모델이 이미 생성한 score 추정값을 재사용하여 샘플 및 프레임 간 쌍wise 관계 행렬을 구성하는 경량 관계 정규화(relational regularizer)인 코퓰러 인식 DMD(Copula-aware DMD, CoDMD)를 제안한다. 이는 추가 네트워크, 데이터셋, 또는 샘플링 궤적 없이 보조 분포 목적 함수를 통해 매칭된다. 1.3B 및 14B 규모의 Wan-2.1-T2V 모델 계열에서 CoDMD는 50스텝 교사 모델을 4스텝 학생 모델로 증류하여, 약 25배 속도 향상을 달성하면서 VBench 점수 84.46 및 84.87을 기록하여, 기존 궤적 기반(rCM 82.81 및 84.05) 및 분포 기반(DMD 83.38 및 83.81) 방법을 능가한다.
소수 단계 확산 증류(few-step diffusion distillation)는 4~8단계 생성에 대해 점차 성숙해졌으나, 2단계로 더 나아가는 것은 여전히 도전적인 과제로 남아 있습니다. 본 연구에서는 8단계 Z-Image Turbo 교사 모델로부터 증류된 고품질 2단계 이미지 생성 모델인 Z-Image Turbo++를 소개합니다. 우리의 방법은 2단계 생성에서 증가한 작업 난이도와 제한된 모델 용량이라는 핵심 병목을, 이 영역에 맞춘 세 가지 간단하지만 효과적인 설계 선택으로 해결합니다. 첫째, 생성적 적대 신경망 학습을 위해 외부 실제 이미지 대신 교사 모델이 생성한 이미지를 실제 샘플로 사용하여 더 달성 가능하고 정보가 풍부한 적대적 목표를 제공하는 분포 정렬 적대적 학습(Distribution-Aligned Adversarial Learning)을 제안합니다. 둘째, 두 노이즈 제거 단계에 독립적인 모델 파라미터를 할당하여 서로 다른 용량 요구를 더 잘 충족하는 단계 분리 파라미터화(Step-Decoupled Parameterization)를 채택합니다. 셋째, 명시적인 1단계 손실을 통해 의미 있는 중간 생성을 유지하면서 첫 번째 단계가 최종 이미지 품질로부터 그라디언트를 받을 수 있도록 반복적 정규화를 동반한 엔드 투 엔드 학습을 수행합니다. 이러한 설계들은 정성적 및 정량적 평가 모두에서 2단계와 8단계 생성 간 품질 격차를 상당히 줄였으며, 소수 단계 생성에서 품질-효율성 트레이드오프를 개선하기 위한 세심하게 맞춤화된 증류 전략의 잠재력을 강조합니다.