플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.
최근의 텍스트-모션(text-to-motion) 모델들은 모션 품질과 지시 준수 능력을 향상시켰으나, 다단계 디노이징과 거대한 모델 구성 요소로 인해 배포 시 속도가 느리고 메모리 소모가 큽니다. 본 논문에서는 실제 모션 학습(training) 데이터 없이도 텍스트 프롬프트와 사전학습된 교사 모델로부터 효율적인 모션 생성기를 학습하는 온-정책(on-policy) 접근법인 종단 증폭 제어 증류(Terminal-Amplification-Controlled Distillation, TACD)를 제안합니다. 세분화된 온-정책 플로우 증류(segmented on-policy flow distillation)를 기반으로, 학생 모델이 생성한 궤적을 따라 정제 모션(clean-motion) 예측을 지도합니다. 저자들은 고정된 지도 격자에서 속도를 매칭할 때 디노이징 종단점 부근의 오차에 반복적으로 과도한 가중치가 부여되어 소수 단계 생성을 저하시키는 실패 모드를 규명했습니다. TACD는 가장 최근 교사 모델의 쿼리를 학생 모델의 스텝 크기와 연계하여, 추론(inference)을 변경하지 않고도 정제 모션 공간에서의 유효 손실(loss) 가중치를 제한합니다. HumanML3D 및 KIT-ML 데이터셋에 대한 실험을 통해 소수 단계 생성 성능의 향상을 입증했으며, 이러한 제한이 없는 증류 대비 8단계 HY-Motion 학생 모델의 FID가 58% 감소했습니다. 확산 교사 모델의 경우, TACD의 종단점 매칭 형태를 통해 50단계 교사 모델 대비 HumanML3D에서 더 낮은 FID 및 동등하거나 향상된 텍스트-모션 검색 성능을 갖는 4단계 학생 모델을 얻었습니다. HY-Motion 및 Kimodo에서 컴팩트한 구성 요소를 갖춘 8단계 학생 모델은 교사 모델 대비 7.7~11.9배의 엔드투엔드 속도 향상을 달성하고 최대 GPU 메모리를 3.8~6.7배 절감합니다. 프로젝트 페이지: https://vkgo.github.io/TACD/
비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.
온-정책 증류(on-policy distillation, OPD)는 현재 student가 생성한 궤적을 따라 teacher를 질의함으로써 확산 모델을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance(CFG) 하에서 어떻게 동작해야 하는지는 여전히 잘 이해되지 않았다. 기존 OPD 방법은 속도 매칭(velocity matching)을 CFG로 합성된 예측에 자연스럽게 확장하여, teacher와 student의 guided velocity를 직접 일치시킨다. 우리는 이 목적 함수가 분기(branch) 수준에서 식별 불가(under-identified)임을 보인다. positive 분기와 negative 분기의 오류가 guided prediction에서 서로 상쇄될 수 있다. 두 대조적인 사례를 통해, naive matching이 공유 negative conditioning 하에서는 여전히 효과적이며, 두 분기 오류가 함께 감소함을 발견한다. 그러나 모델의 기본 CFG 스키마가 teacher의 negative 분기에 student가 접근할 수 없는 특권 정보(privileged information)를 유지하는 경우, 이러한 공동 감소는 붕괴되고, 합성된 목적 함수는 적대적인 분기-오류 역학을 유발하여 positive 분기 오류는 줄이면서 negative 분기 오류는 증가시킨다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry(NBA)라고 부른다. NBA를 해결하기 위해, positive 예측과 CFG 조건부 방향을 각각 제약하는 분기 인식(branch-aware) OPD 목적 함수인 Positive-Direction Matching(PDM)을 제안한다. PDM을 dense-to-sparse 비디오 제어에 적용한다. 여기서 naive guided matching은 추론 guidance scale에 매우 민감한 반면, 분기 인식 supervision은 더 견고하고 효과적인 지식 전달을 가능하게 한다.
최근 연구는 다단계 비디오 디퓨전 모델을 효율적인 소수 단계(few-step) 학생 모델로 증류하는 데 있어 유망한 결과를 보여주었습니다. 그중 Distribution Matching Distillation (DMD)와 그 후속작인 DMD2는 우수한 생성 품질과 빠른 수렴을 달성했습니다. 그러나 역 Kullback--Leibler (KL) 목적함수의 특성상, 이러한 방법들은 샘플 다양성의 현저한 감소와 실제 비디오 외관에서 벗어난 눈에 띄는 과포화(over-saturated) 출력이라는 두 가지 지속적인 실패 모드를 보입니다. 본 연구에서는 단 한 줄의 코드 변경만으로 DMD의 다양성과 충실도를 복원하는 간단한 사후 학습(post-training) 프레임워크인 Data-Forcing Distillation (DFD)를 제안합니다. 이 방법의 핵심은 학생 모델을 실제 데이터 분포로 유도하는 교사 점수 불일치(teacher score discrepancy)로, 학생 모델을 누락된 모드로 끌어당겨 모드 붕괴(mode collapse)를 완화하고 실제 데이터에 없는 문제가 되는 모드에서 멀어지게 하여 과포화를 방지합니다. 우리는 프레임워크에 대한 심층적인 이론적 분석을 제공하고 텍스트-투-비디오(text-to-video), 이미지-투-비디오(image-to-video), 자기회귀 비디오 생성에서 우리의 접근 방식을 검증합니다. 단 100~300단계의 파인튜닝만으로 DFD는 Wan2.1-1.3B 및 Cosmos-Predict2.5-2B 모델 모두에서 다양성과 충실도를 효과적으로 복원하며, 비디오 역학과 외관을 훨씬 더 우수하게 만들어 과포화 아티팩트를 해결하고 교사 모델(teacher model)보다도 뛰어난 성능을 보입니다.
비디오 확산 모델의 소수 스텝 지식 증류(distillation)는 실제 응용에서의 효율적 배포에 대한 긴급한 수요에 힘입어 상당한 주목을 받고 있다. 그러나 주류 패러다임인 분포 매칭 증류(Distribution Matching Distillation, DMD)는 제한된 NFE(함수 평가 횟수) 예산 하에서 성능이 저하되는 경향이 있으며, 비디오 생성에서는 레이아웃 불안정, 과포화(oversaturation), 모션 다이내믹스 붕괴로 나타난다. 우리는 이 실패를 구조적 한계로 귀인한다. 표준 DMD는 좌표별 그래디언트를 갖는 샘플 내(intra-sample) 분포 매칭 목적 함수이므로, 배치 요소들 또는 시간 프레임 간 관계적 기하학에 대한 명시적 제약을 부과하지 않아 근본 코퓰러(copula)를 거의 규제하지 못한다. 역 KL(reverse-KL) 목적 함수의 모드 추구(mode-seeking) 성향과 결합되어, 이러한 관계적 가이던스의 부재는 DMD가 소수 스텝 영역에서 국소 최적해로 붕괴하기 쉽게 만든다. 이 통찰에 영감받아, 우리는 동결된 교사 모델과 온라인 fake 모델이 이미 생성한 score 추정값을 재사용하여 샘플 및 프레임 간 쌍wise 관계 행렬을 구성하는 경량 관계 정규화(relational regularizer)인 코퓰러 인식 DMD(Copula-aware DMD, CoDMD)를 제안한다. 이는 추가 네트워크, 데이터셋, 또는 샘플링 궤적 없이 보조 분포 목적 함수를 통해 매칭된다. 1.3B 및 14B 규모의 Wan-2.1-T2V 모델 계열에서 CoDMD는 50스텝 교사 모델을 4스텝 학생 모델로 증류하여, 약 25배 속도 향상을 달성하면서 VBench 점수 84.46 및 84.87을 기록하여, 기존 궤적 기반(rCM 82.81 및 84.05) 및 분포 기반(DMD 83.38 및 83.81) 방법을 능가한다.