arXiv:2412.06295

See Further When Clear: Curriculum Consistency Model

Yunpeng Liu, Boxiao Liu, Yi Zhang, Xingzhong Hou, Guanglu Song, Yu Liu, Haihang You

제출 2024-12-09

원문 초록

Significant advances have been made in the sampling efficiency of diffusion models and flow matching models, driven by Consistency Distillation (CD), which trains a student model to mimic the output of a teacher model at a later timestep. However, we found that the learning complexity of the student model varies significantly across different timesteps, leading to suboptimal performance in CD.To address this issue, we propose the Curriculum Consistency Model (CCM), which stabilizes and balances the learning complexity across timesteps. Specifically, we regard the distillation process at each timestep as a curriculum and introduce a metric based on Peak Signal-to-Noise Ratio (PSNR) to quantify the learning complexity of this curriculum, then ensure that the curriculum maintains consistent learning complexity across different timesteps by having the teacher model iterate more steps when the noise intensity is low. Our method achieves competitive single-step sampling Fr\'echet Inception Distance (FID) scores of 1.64 on CIFAR-10 and 2.18 on ImageNet 64x64.Moreover, we have extended our method to large-scale text-to-image models and confirmed that it generalizes well to both diffusion models (Stable Diffusion XL) and flow matching models (Stable Diffusion 3). The generated samples demonstrate improved image-text alignment and semantic structure, since CCM enlarges the distillation step at large timesteps and reduces the accumulated error.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.01353v3math.OC공통 태그 model공식 코드 · Papers with Code

미분 가능한 비선형 모델 예측 제어

Differentiable Nonlinear Model Predictive Control

매개변수적 해 민감도의 효율적인 계산은 학습 강화 방법을 비선형 모델 예측 제어와 통합하는 데 있어 핵심 과제이며, 이는 많은 학습 알고리즘에서 민감도의 가용성이 필수적이기 때문이다. 본 논문은 음함수 정리와 내점법(IPM)에서 다루는 평활화된 최적성 조건을 이용하여 일반 비선형 계획법의 해 민감도를 계산하는 방법을 논한다. 장벽 매개변수가 지정된 비음수 목표값에 접근하도록 허용하여 SQP와 IPM 이차계획법(QP) 풀이기를 일반화하고, 이 목표값이 0일 때 고전적 SQP를 복원하는 순차 장벽 이차계획법(sequential barrier quadratic programming, SBQP)을 도입한다. 기존 연구는 볼록 또는 제약 없는 정식화에 한정되거나 효율적인 민감도 평가를 위한 구현이 부족하다. 본 발표는 `acados` 프레임워크 내의 효율적인 오픈소스 구현을 동반하며, 일반 최적 제어 문제에 대해 순방향 및 수반(adjoint) 민감도를 모두 제공하고 최신 풀이기인 `mpc.pytorch` 및 `cvxpygen` 대비 3배를 넘는 속도 향상을 달성한다.

arXiv:2507.10539공통 태그 model공식 코드 · Papers with Code

Graph World Model

토론

이 논문과 연결된 포럼 글이 아직 없습니다.