확산 모델의 암기 완화에 대한 재고: 텍스트 조건화 강화
Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning
한국어 초록
텍스트-이미지 확산 모델(diffusion model)은 이미지 합성에서 괄목할 만한 발전을 이루었으나, 개별 학습(training) 예제를 거의 그대로 재현하는 암기(memorization) 현상을 보일 수 있습니다. 효과적인 암기 완화는 대안적인 묘사를 유도하기 위해 유용한 프롬프트(prompt) 정보를 보존해야 합니다. 본 연구에서는 추가적인 노이즈 제거기(denoiser) 평가 없이, 가우시안 평활화(Gaussian smoothing)를 통해 교차 어텐션(cross-attention)을 재분배한 후 콘텐츠 토큰(token)의 기여도를 강화하고 패딩의 기여도를 감쇄하는 학습 불필요(training-free) 방식을 제안합니다. 이러한 개입을 통해 더 강력한 콘텐츠 조건화는 유사한 수준의 학습 이미지 유사도에서도 프롬프트 정렬(alignment)을 향상할 수 있습니다. 국소 분석(local analysis)을 통해 재분배가 국소화된 어텐션 질량을 줄이는 동시에 강화가 공유된 값(value) 정보를 보존하는 조건을 규명합니다. Stable Diffusion v1.4 및 v2.0에서 평가된 모든 평활화 너비는 학습 이미지 유사도 대비 프롬프트 정렬 및 이미지 선호도 모두에 대한 실증적 파레토 최적(Pareto frontier) 선상에 위치합니다. Stable Diffusion에서 선택된 구성은 추가적인 튜닝 없이도 DeepFloyd IF의 템플릿 재현을 감소시킵니다. 이러한 결과는 프롬프트와 일관된 대안적 생성을 위해 조건화 할당과 강도를 함께 제어해야 함을 뒷받침합니다.
원문 초록
Text-to-image diffusion models have achieved remarkable progress in image synthesis, yet can exhibit memorization by closely reproducing individual training examples. Effective mitigation must preserve useful prompt information to guide alternative depictions. We introduce a training-free method that redistributes cross-attention with Gaussian smoothing before reinforcing content-token contributions and attenuating padding contributions, without additional denoiser evaluations. With this intervention, stronger content conditioning can improve prompt alignment at comparable training-image similarity. A local analysis identifies when reinforcement preserves shared value information while redistribution reduces localized attention mass. On Stable Diffusion v1.4 and v2.0, all evaluated smoothing widths lie on the empirical Pareto frontiers for training-image similarity versus both prompt alignment and image preference. A configuration selected on Stable Diffusion reduces template reproduction in DeepFloyd IF without further tuning. These findings support jointly controlling conditioning allocation and strength to generate prompt-consistent alternatives.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정
GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models
DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.
소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화
Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models
텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.
텍스트-이미지 확산 모델에서 만족도-다양성 프론티어 탐색
Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion
텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.
스펙트럼 정렬을 통한 가이디드 확산 궤적의 보정
Correcting Guided Diffusion Trajectories with Spectral Alignment
조건부 이미지 생성의 실질적인 성공은 조건 정렬(condition alignment)과 시각적 충실도(visual fidelity)의 미세한 차이에 달려 있습니다. 분류기 없는 가이던스(CFG)는 이러한 성공의 핵심이지만, 명시적인 기준이 결여되어 있어 유도된 궤적이 의도한 대로 진행되고 있는지 평가하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 스펙트럼 정렬(spectral alignment)이 가이던스 동작을 이해하고 적응형 보정을 통해 가이디드 확산(diffusion) 샘플링을 개선할 수 있는 원리적 기준을 제공함을 보입니다. 분석 결과, 중간 상태의 스펙트럼이 순방향 과정(forward process)의 예상 스펙트럼 변화와의 일관성을 나타내는 지표임을 확인했습니다. 이러한 관찰을 바탕으로, 샘플링 중 해석적 참조 스펙트럼으로부터의 편차를 보정하는 방법인 스펙트럼 보정 가이던스(Spectral Correction Guidance)를 소개합니다. 제안된 방법은 학습(training)이 필요하지 않으며(training-free), 기본 모델을 수정하지 않고도 다양한 확산 백본 및 조건부 생성 태스크에 적용할 수 있습니다. 실험을 통해 텍스트-투-이미지 생성에서 기준선 가이던스 방법 대비 선호도 기반 지표에서 일관된 성능 향상을 보였으며, ImageNet에서 CFG 대비 생성 품질이 향상됨을 입증했습니다. 이러한 개선은 다양한 가이던스 스케일 전반과 더 적은 노이즈 제거(denoising) 스텝에서도 유지됩니다. 분석 및 절제 연구(ablation)는 가이던스 동작과 제안된 방법이 생성 품질에 미치는 영향에 대한 통찰을 제공합니다.
텍스트-이미지 생성이 편집에 도움이 되는 순간: 디노이징 과정에서의 조건화 효과
When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising
통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.