Leveraging Semantic Attribute Binding for Free-Lunch Color Control in Diffusion Models
원문 초록
Recent advances in text-to-image (T2I) diffusion models have enabled remarkable control over various attributes, yet precise color specification remains a fundamental challenge. Existing approaches, such as ColorPeel, rely on model personalization, requiring additional optimization and limiting flexibility in specifying arbitrary colors. In this work, we introduce ColorWave, a novel training-free approach that achieves exact RGB-level color control in diffusion models without fine-tuning. By systematically analyzing the cross-attention mechanisms within IP-Adapter, we uncover an implicit binding between textual color descriptors and reference image features. Leveraging this insight, our method rewires these bindings to enforce precise color attribution while preserving the generative capabilities of pretrained models. Our approach maintains generation quality and diversity, outperforming prior methods in accuracy and applicability across diverse object categories. Through extensive evaluations, we demonstrate that ColorWave establishes a new paradigm for structured, color-consistent diffusion-based image synthesis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
텍스트-이미지 확산 모델에서 만족도-다양성 프론티어 탐색
Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion
텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.
WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습
WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.
CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.
플로우 매칭(Flow Matching)에서의 분류기 없는 가이던스(Classifier-Free Guidance): 비자율 포텐셜, 오버슈트, 그리고 사후 평균 제어
Classifier-Free Guidance in Flow Matching: Non-Autonomous Potentials, Overshoot, and Posterior-Mean Control
분류기 없는 가이던스(Classifier-Free Guidance, CFG)는 플로우 매칭(Flow Matching)에서 조건부 생성을 개선하지만, 강한 가이던스는 생성된 분포를 왜곡하고 다양성을 감소시킬 수 있다. 우리는 플로우 매칭을 시간에 따라 변화하는 그래디언트 흐름(gradient flow)으로 보고 CFG가 그 기저의 포텐셜(potential)을 어떻게 재구성하는지 규명함으로써 이러한 현상에 대한 기하학적 설명을 제공한다. 이러한 관점은 더 강한 정렬(alignment)이 평균 변위(mean displacement)와 궤적 집중(trajectory concentration)을 동반할 수 있는 이유를 설명하며, 모델이 암시하는 종단 사후 평균(terminal posterior mean)을 통해 가이던스를 제어하려는 동기를 제공한다. 이에 따라 우리는 추가적인 네트워크 평가 없이 실행 가능한 가장 강한 가이던스를 샘플별로 적응적으로 유지하는, 학습이 필요 없는(training-free) 방법인 사후 평균 상한 CFG(Posterior-Mean-Capped CFG, PMC-CFG)를 제안한다. 합성 데이터 및 대규모 이미지 생성 벤치마크(benchmark) 실험 결과, PMC-CFG는 가이던스로 인한 왜곡과 집중을 제한하는 동시에 정렬-다양성 트레이드오프를 개선하며, 특히 명목 가이던스(nominal guidance)가 클 때 특히 큰 이점을 보인다.
Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.