Model Collapse in the Self-Consuming Chain of Diffusion Finetuning: A Novel Perspective from Quantitative Trait Modeling
원문 초록
The success of generative models has reached a unique threshold where their outputs are indistinguishable from real data, leading to the inevitable contamination of future data collection pipelines with synthetic data. While their potential to generate infinite samples initially offers promise for reducing data collection costs and addressing challenges in data-scarce fields, the severe degradation in performance has been observed when iterative loops of training and generation occur -- known as ``model collapse.'' This paper explores a practical scenario in which a pretrained text-to-image diffusion model is finetuned using synthetic images generated from a previous iteration, a process we refer to as the ``Chain of Diffusion.'' We first demonstrate the significant degradation in image quality caused by this iterative process and identify the key factor driving this decline through rigorous empirical investigations. Drawing an analogy between the Chain of Diffusion and biological evolution, we then introduce a novel theoretical analysis based on quantitative trait modeling. Our theoretical analysis aligns with empirical observations of the generated images in the Chain of Diffusion. Finally, we propose Reusable Diffusion Finetuning (ReDiFine), a simple yet effective strategy inspired by genetic mutations. ReDiFine mitigates model collapse without requiring any hyperparameter tuning, making it a plug-and-play solution for reusable image generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
I-SplineFlow: 소수 스텝 생성을 위한 단조 스플라인 확률적 보간(Stochastic Interpolant) 스케줄러 학습
I-SplineFlow: Learning Monotone Spline Stochastic Interpolant Schedulers for Few-Step Generation
사전학습된 확산(diffusion) 및 플로우(flow) 모델을 이용한 소수 스텝(few-step) 생성은 네트워크가 아니라 샘플링 궤적을 최적화하는 경량 학습으로 가속할 수 있다. 최근의 한 접근법은 확률적 보간(stochastic interpolant, SI) 스케줄러를 부드러운 곡선으로 매개변수화하며, 이 곡선의 제어점은 SI 스케줄러가 만족해야 하는 세 가지 성질, 즉 고정된 경계 조건, 단조 신호 대 잡음비(SNR), 그리고 미분 가능성을 강제한다. 기존 매개변수화는 전역적으로 지지되는(globally supported) 다항식 기저를 사용하는데, 이 경우 모든 제어점이 곡선 전체를 움직이고 표현력을 높이려면 더 높은 차수가 필요하므로, 최적화 과정에서 스케줄의 멀리 떨어진 구간들이 서로 결합된다. 본 논문은 적분 단조 스플라인(integrated monotone splines, I-splines)으로 스케줄러를 매개변수화하는 *I-SplineFlow*를 제안한다. I-spline은 다항식 차수와 혼합 가중치(mixture weight)의 개수를 분리하므로, 가중치 개수를 고정한 채 모델마다 지지 폭(support width)과 매끄러움을 선택할 수 있으며, 컴팩트하게 지지되는 도함수 기저 덕분에 스케줄러 야코비안(Jacobian)의 조건수가 Bézier 기저보다 수 자릿수 더 좋다. 경계 조건과 엄격하게 단조인 SNR은 매개변수에 대한 순서 제약 없이 구성 자체로 보장되며, 속도(velocity)의 도함수는 닫힌 형태(closed-form)로 얻어진다. 확산(EDM) 모델과 플로우(ReFlow, Simple ReFlow) 모델 전반에서 I-SplineFlow는 대부분의 설정에서 Bézier 스케줄링보다 소수 스텝 FID를 개선하며, 특히 가장 낮은 NFE에서 그 개선이 가장 뚜렷하고, 학습에는 수 분밖에 걸리지 않는다. 절제 실험(ablation)은 차수의 자유도와 단조성 제약이 모두 필요함을 보여준다. 코드는 논문 채택 시 공개될 예정이다.
CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.
원자에서 엔트로피까지: 볼록 영역에서 확산 학습을 위한 최적 노이즈 할당
From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime
확산 모델은 어떤 노이즈 수준에서, 얼마나 학습해야 할까? 이 선택의 중요성에도 불구하고, 현재의 노이즈 스케줄은 대체로 휴리스틱이나 경험적 튜닝에 기반한다. 본 연구에서는 확산 학습에서 점근적으로 최적인 노이즈 수준 할당을 연구하기 위한 일반적인 통계적 프레임워크를 개발한다. 첫 번째 주요 결과는 서로 다른 시점 간에 정보가 전파될 수 있는 완전 결합 영역에 관한 것이다. 볼록성 또는 Polyak-Łojasiewicz형 가정 하에서, 최적화된 학습 스케줄이 유한 개의 노이즈 수준에 집중된 원자적 최소화자(atomic minimizer)를 갖음을 보인다. 두 번째 주요 결과는 신경망의 시간적 특화를 모델링하기 위한 이상화된 독립 학습자 영역에 이 프레임워크를 특수화한 것이다. 추가적인 특징-노이즈 분리 조건 하에서, 랜덤 행렬 분석은 정보 이론적 대리(proxy)로 이어진다: 분리된 샘플링 밀도는 생성적 엔트로피율, 즉 순방향 과정을 따라 조건부 엔트로피가 증가하는 비율의 제곱근에 비례한다. Dirac 혼합, 저차원 매니폴드, MNIST를 포함하여 결합 목적함수를 직접 최적화할 수 있는 통제된 설정에서 이러한 예측을 검증한다. 이러한 설정에서 최적화된 스케줄은 일관되게 유한 지원(finite-support)이며, 매끄러운 엔트로피 대리는 신경망 모델에서 원자적 최적값을 밀접하게 추적하고, 이론이 시사하는 바와 같이 주로 완전 결합 파라미터 경우에서 붕괴한다. 그런 다음 전체 스케줄 최적화가 현재 계산 불가능한 대규모 실험에서 엔트로피 스케줄을 평가한다. 결과는 제곱근 엔트로피 스케줄링이 이산 영역에서 학습 효율을 상당히 개선할 수 있으며, 연속 이미지에서는 표준 EDM 스타일 휴리스틱과 경쟁력을 유지함을 나타낸다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백
The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference
대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.
배려적 선제: 지속적 공유 환경에서 장기 과업 계획 개선
Courteous Anticipation: Improving Long-Lived Task Planning in Persistent Shared Environments
본 논문은 지속적인 환경을 공유하는 로봇들이 보류된(held-out) 시퀀스로부터 한 번에 하나씩 과업을 할당받는 과업 계획 시나리오를 다룬다. 표준 과업 계획기는 미래 과업에 대한 예측이 없고 다른 로봇의 제약을 고려하지 않으므로 각 과업을 독립적으로 해결하여, 모든 로봇의 미래 비용을 증가시키는 종료 상태를 남기며, 이러한 부작용은 긴 과업 시퀀스에서 누적된다. 시퀀스 전체의 비용을 줄이려면 로봇은 현재의 행동이 환경을 공유하는 모든 로봇의 미래 과업 수행에 어떤 영향을 미칠지 예측해야 한다. 이에 본 논문은 모델 기반 계획기가 후보 계획을 제안하고, 로봇별로 독립적으로 학습된 추정기를 통해 추정한 즉각적 비용과 모든 로봇에 대한 집계된 기대 미래 비용을 함께 최소화하는 계획을 선택하는 배려형 예측 계획(courteous anticipatory planning)을 제시한다. 이러한 분해된 정식화는 조합적인 공동 롤아웃을 피하고 모듈식 배치를 지원하며, 로봇을 추가하려면 해당 로봇의 추정기만 훈련하면 된다. 비슷한 능력을 갖지만 책임이 다른 로봇들이 있는 가정 환경과, 로봇들의 서로 다른 능력으로 인해 다른 로봇이 해결할 수 없는 상태가 만들어지는 레스토랑 환경이라는 두 가지 지속적 PDDL 도메인에서 평가한다. 긴 과업 시퀀스에서 본 계획기는 2대 로봇 가정 환경에서 근시안적 계획 대비 총비용을 10.4%, 이기적 예측 계획 대비 4.5% 줄였으며, 3대 로봇 레스토랑 환경에서는 각각 20.5%와 6.7% 줄였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.