Exploring Language Patterns of Prompts in Text-to-Image Generation and Their Impact on Visual Diversity
원문 초록
Following the initial excitement, Text-to-Image (TTI) models are now being examined more critically. While much of the discourse has focused on biases and stereotypes embedded in large-scale training datasets, the sociotechnical dynamics of user interactions with these models remain underexplored. This study examines the linguistic and semantic choices users make when crafting prompts and how these choices influence the diversity of generated outputs. Analyzing over six million prompts from the Civiverse dataset on the CivitAI platform across seven months, we categorize users into three groups based on their levels of linguistic experimentation: consistent repeaters, occasional repeaters, and non-repeaters. Our findings reveal that as user participation grows over time, prompt language becomes increasingly homogenized through the adoption of popular community tags and descriptors, with repeated prompts comprising 40-50% of submissions. At the same time, semantic similarity and topic preferences remain relatively stable, emphasizing common subjects and surface aesthetics. Using Vendi scores to quantify visual diversity, we demonstrate a clear correlation between lexical similarity in prompts and the visual similarity of generated images, showing that linguistic repetition reinforces less diverse representations. These findings highlight the significant role of user-driven factors in shaping AI-generated imagery, beyond inherent model biases, and underscore the need for tools and practices that encourage greater linguistic and thematic experimentation within TTI systems to foster more inclusive and diverse AI-generated content.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
텍스트-이미지 확산 모델에서 만족도-다양성 프론티어 탐색
Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion
텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.
개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습
WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.
CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.