arXiv:2312.10854

The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses

Mahmoud Ahmed, Omer Moussa, Ismail Shaheen, Mohamed Abdelfattah, Amr Abdalla, Marwan Eid, Hesham Eraqi, Mohamed Moustafa

제출 2023-12-18

원문 초록

One of the major challenges in training deep neural networks for text-to-image generation is the significant linguistic discrepancy between ground-truth captions of each image in most popular datasets. The large difference in the choice of words in such captions results in synthesizing images that are semantically dissimilar to each other and to their ground-truth counterparts. Moreover, existing models either fail to generate the fine-grained details of the image or require a huge number of parameters that renders them inefficient for text-to-image synthesis. To fill this gap in the literature, we propose using the contrastive learning approach with a novel combination of two loss functions: fake-to-fake loss to increase the semantic consistency between generated images of the same caption, and fake-to-real loss to reduce the gap between the distributions of real images and fake ones. We test this approach on two baseline models: SSAGAN and AttnGAN (with style blocks to enhance the fine-grained details of the images.) Results show that our approach improves the qualitative results on AttnGAN with style blocks on the CUB dataset. Additionally, on the challenging COCO dataset, our approach achieves competitive results against the state-of-the-art Lafite model, outperforms the FID score of SSAGAN model by 44.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23673v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, Contrastive Learning

다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리

Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation

기존 원격 탐사 영상 생성 방법은 대부분 단일 모달리티 합성에 국한되어 있어, 다중 모달 영상에 내재된 상보적 정보를 활용하지 못한다. 이 한계를 해결하기 위해, 우리는 다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리(contrastive parameter disentanglement) 프레임워크를 제안한다. 이 프레임워크는 단일 텍스트 프롬프트로부터 광학(optical), 적외선(infrared), 합성개구레이더(SAR, synthetic aperture radar) 등 여러 모달리티에 걸쳐 의미적으로 일관되고 구조적으로 정렬된 영상을 생성한다. 구체적으로, 우리는 직교 코어 부공간(orthogonal core subspace) 내에서 매개변수 수준에서 공유 의미와 모달리티별 속성을 분리하는 대조적 매개변수 분리 모듈을 도입한다. 이 모듈을 기반으로, 우리는 먼저 LoRA 어댑터의 매개변수 행렬 A가 다중 모달 대조 목적 함수를 통해 모달리티 불변 의미를 포착하도록 제약하고, 이어서 텍스트 조건화(text conditioning) 하에 여러 매개변수 행렬 B가 모달리티별 속성을 학습하도록 유도하는 분리 최적화 전략을 개발한다. 이 전략은 일관된 의미 내용과 뚜렷한 모달리티 특성을 갖는 다중 모달 영상의 동시 생성을 가능하게 한다. 또한 생성된 영상 간 구조적 정렬을 보장하기 위해, 우리는 추론 시 앵커(anchor) 모달리티로부터 나머지 모달리티로 구조적 상관 사전(structural correlation priors)을 전달함으로써 다중 모달 샘플링 궤적을 공동으로 모델링하는 쿼리-키(query-key) 구조 전달 메커니즘을 설계한다. 광범위한 실험을 통해 우리 방법이 생성 품질, 의미적 일관성, 구조적 정렬 측면에서 최신(state-of-the-art) 원격 탐사 영상 생성 접근법을 능가하며, 하류 객체 분류 작업에서도 우수한 성능을 달성함을 보인다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.13502v1cs.CV공통 태그 Image Generation, Text-to-Image Generation

Stride: 인포그래픽 생성을 위한 스케일 인식 다중 에이전트 진화적 정제

Stride: Scale-Aware Multi-Agent Evolutionary Refinement for Infographic Generation

단일 이미지가 수많은 시각적, 텍스트적, 의미론적 제약 조건을 만족해야 하므로 인포그래픽 생성은 텍스트-투-이미지(text-to-image) 모델에 큰 도전 과제가 됩니다. 멀티모달 검증기(verifier)를 활용한 반복적 에이전트(agent) 정제는 자연스러운 해결책이지만, 기존 방법들은 스케일 불일치(scale mismatch) 문제에 직면합니다. 즉, 국소적 편집으로는 전역적 구성 오류를 바로잡을 수 없으며, 전체 재생성은 이미 올바른 영역을 훼손할 수 있습니다. 본 논문에서는 고정된(frozen) 임의의 생성기 상에서의 정제 과정을 이력 인식(history-aware) 진화 전략으로 취급하는 제약 조건 그라운딩(constraint-grounded) 다중 에이전트 프레임워크인 Stride를 소개합니다. Stride는 각 요구사항의 충족 여부를 판단하는 제약 조건 평가와 위반 위치 및 방식을 파악하는 시각적 그라운딩을 분리합니다. 그런 다음 전역적 수정은 컴포저(composer) 하위 에이전트로, 국소적 교정은 리터처(retoucher) 하위 에이전트로 라우팅합니다. 각 하위 에이전트는 내부 계획을 수립하고 여러 후보를 생성하며, Stride는 검증기 점수를 향상시킬 때만 후보를 수락하여 반복 과정 전반에서의 성능 저하(regression)를 줄입니다. 확률적 생성기와 불완전한 검증기로 인해 단일 단계는 신뢰하기 어려우므로, 반복 과정에서 안정적인 성능 향상을 이끌어내는 것은 바로 이러한 스케일 인식 라우팅, 단계별 중복성, 단조 수락(monotonic acceptance)의 결합입니다. 완전한 오픈 가중치(open-weight) 생성기-검증기 시스템을 갖춘 Stride는 BizGenEval에서 Nano-Banana-2.0 및 Seedream-5.0-Pro를 포함한 독점 시스템을 능가하고, IGenBench에서는 GPT-Image-2.0과 동등한 성능을 보이며 Seedream-5.0-Pro를 능가하고, WISE에서는 새로운 최고 성능(state-of-the-art) 점수를 달성하는 동시에 평가된 모든 벤치마크 전반에서 기존 에이전트 기반 방법들을 크게 능가합니다.

arXiv:2610.13941v1cs.CV공통 태그 Image Generation, Text-to-Image Generation

이미지가 말을 걸어온다: 이미지-투-텍스트 피드백 억제를 통한 MMDiT 가이딩

Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback

멀티모달 디퓨전 트랜스포머(MMDiT)는 조인트 어텐션을 통해 진화하는 이미지가 내부 텍스트 표현을 갱신할 수 있도록 한다. 이렇게 갱신된 표현은 이후의 이미지 업데이트를 가이드하는데, 이는 다음과 같은 질문을 제기한다: 이 피드백은 프롬프트로부터의 이탈을 교정하는 데 도움을 주는가, 아니면 그것을 그대로 보존하는가? 우리는 이미지-투-텍스트(I2T) 피드백이 진화하는 이미지에 이미 표현된 객체와 속성을, 오류를 포함하여 그대로 보존할 수 있음을 발견했다. I2T 메시지를 이식(transplant)하면 실패를 구제하거나 성공을 무너뜨릴 수 있다. 동일한 강도의 개입에서, I2T 피드백의 영향을 억제하면 생성 결과가 개선되는 반면, 반대 방향의 제어는 이를 저하시킨다. 이러한 발견은 시맨틱 피드백 가이던스(Semantic Feedback Guidance, SFG)를 제안하는 동기가 되었는데, 이는 이 피드백을 강화하고 텍스트-투-이미지 컨디셔닝을 약화시키는 보조 분기(auxiliary branch)로부터 멀어지도록 가이드함으로써 I2T 피드백의 영향을 억제한다. 제자리(in-place) 변형인 iSFG는 추가적인 모델 평가 없이 I2T 피드백을 직접 억제하고 텍스트-투-이미지 컨디셔닝을 강화한다. 시간적 개입(temporal intervention)에 대한 분석은 이미지 샘플링 단계의 처음 20% 동안 SFG 분기를 실행하도록 유도하며, 이는 분류자 없는 가이던스(classifier-free guidance, CFG) 없이 기본 NFE의 약 1.2배를 필요로 한다. 세 가지 이미지 생성 백본에 대한 실험에서 정합성(alignment) 및 선호도 모델(preference-model) 점수가 향상되었음을 보여준다. FLUX에서는 CFG에 SFG를 추가하면 GenEval이 0.6661에서 0.7479로 상승하며, SD3.5M에서는 iSFG가 추가 NFE 없이 CFG 대비 HPSv2.1을 +1.33 향상시킨다. 이 제어 기법은 텍스트-투-비디오 및 이미지-투-비디오 생성에도 전이되어 VBench 점수를 향상시킨다. 코드는 https://github.com/yyc1215lll-creator/SFG 에서 확인할 수 있다.

arXiv:2609.06324v5cs.CL공통 태그 Image Generation, Text-to-Image Generation

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.