arXiv:2209.01339

DSE-GAN: Dynamic Semantic Evolution Generative Adversarial Network for Text-to-Image Generation

Mengqi Huang, Zhendong Mao, Penghui Wang, Quan Wang, Yongdong Zhang

제출 2022-09-03

원문 초록

Text-to-image generation aims at generating realistic images which are semantically consistent with the given text. Previous works mainly adopt the multi-stage architecture by stacking generator-discriminator pairs to engage multiple adversarial training, where the text semantics used to provide generation guidance remain static across all stages. This work argues that text features at each stage should be adaptively re-composed conditioned on the status of the historical stage (i.e., historical stage's text and image features) to provide diversified and accurate semantic guidance during the coarse-to-fine generation process. We thereby propose a novel Dynamical Semantic Evolution GAN (DSE-GAN) to re-compose each stage's text features under a novel single adversarial multi-stage architecture. Specifically, we design (1) Dynamic Semantic Evolution (DSE) module, which first aggregates historical image features to summarize the generative feedback, and then dynamically selects words required to be re-composed at each stage as well as re-composed them by dynamically enhancing or suppressing different granularity subspace's semantics. (2) Single Adversarial Multi-stage Architecture (SAMA), which extends the previous structure by eliminating complicated multiple adversarial training requirements and therefore allows more stages of text-image interactions, and finally facilitates the DSE module. We conduct comprehensive experiments and show that DSE-GAN achieves 7.48\% and 37.8\% relative FID improvement on two widely used benchmarks, i.e., CUB-200 and MSCOCO, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02188v1cs.CV공통 태그 Generative Adversarial Network, Image Generation, Text-to-Image Generation

DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭

DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.

arXiv:2609.20816v3cs.CV공통 태그 Image Generation, Text-to-Image Generation

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2607.11886v2cs.CV공통 태그 Image Generation, Text-to-Image Generation

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.13502v1cs.CV공통 태그 Image Generation, Text-to-Image Generation

Stride: 인포그래픽 생성을 위한 스케일 인식 다중 에이전트 진화적 정제

Stride: Scale-Aware Multi-Agent Evolutionary Refinement for Infographic Generation

단일 이미지가 수많은 시각적, 텍스트적, 의미론적 제약 조건을 만족해야 하므로 인포그래픽 생성은 텍스트-투-이미지(text-to-image) 모델에 큰 도전 과제가 됩니다. 멀티모달 검증기(verifier)를 활용한 반복적 에이전트(agent) 정제는 자연스러운 해결책이지만, 기존 방법들은 스케일 불일치(scale mismatch) 문제에 직면합니다. 즉, 국소적 편집으로는 전역적 구성 오류를 바로잡을 수 없으며, 전체 재생성은 이미 올바른 영역을 훼손할 수 있습니다. 본 논문에서는 고정된(frozen) 임의의 생성기 상에서의 정제 과정을 이력 인식(history-aware) 진화 전략으로 취급하는 제약 조건 그라운딩(constraint-grounded) 다중 에이전트 프레임워크인 Stride를 소개합니다. Stride는 각 요구사항의 충족 여부를 판단하는 제약 조건 평가와 위반 위치 및 방식을 파악하는 시각적 그라운딩을 분리합니다. 그런 다음 전역적 수정은 컴포저(composer) 하위 에이전트로, 국소적 교정은 리터처(retoucher) 하위 에이전트로 라우팅합니다. 각 하위 에이전트는 내부 계획을 수립하고 여러 후보를 생성하며, Stride는 검증기 점수를 향상시킬 때만 후보를 수락하여 반복 과정 전반에서의 성능 저하(regression)를 줄입니다. 확률적 생성기와 불완전한 검증기로 인해 단일 단계는 신뢰하기 어려우므로, 반복 과정에서 안정적인 성능 향상을 이끌어내는 것은 바로 이러한 스케일 인식 라우팅, 단계별 중복성, 단조 수락(monotonic acceptance)의 결합입니다. 완전한 오픈 가중치(open-weight) 생성기-검증기 시스템을 갖춘 Stride는 BizGenEval에서 Nano-Banana-2.0 및 Seedream-5.0-Pro를 포함한 독점 시스템을 능가하고, IGenBench에서는 GPT-Image-2.0과 동등한 성능을 보이며 Seedream-5.0-Pro를 능가하고, WISE에서는 새로운 최고 성능(state-of-the-art) 점수를 달성하는 동시에 평가된 모든 벤치마크 전반에서 기존 에이전트 기반 방법들을 크게 능가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.