텍스트-이미지 모델은 생각보다 텍스트 인코더에 덜 의존한다
Text-to-Image Models Need Less from Text Encoders Than You Think
한국어 초록
텍스트-이미지(Text-to-image) 모델은 인간의 의도를 파악하는 주요 인터페이스로 텍스트 프롬프트(prompt)에 의존합니다. 프롬프트는 텍스트 인코더에 의해 임베딩(embedding)으로 인코딩되어 이미지 생성 과정을 조건화합니다. 텍스트 임베딩은 개별 토큰(token)의 의미를 넘어 구성성(compositionality) 및 속성 결합(attribute binding)과 같이 전체 프롬프트에 걸친 문맥 정보를 인코딩합니다. 그러나 이미지 모델이 실제로 이러한 풍부한 정보를 활용하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 '텍스트 표현의 어떤 측면이 이미지 생성에 필수적인가?'라는 질문을 다룹니다. 우리는 텍스트-이미지 확산 트랜스포머(diffusion transformer) 기반 모델이 일반적으로 텍스트 표현의 비교적 단순한 두 가지 측면에만 의존함을 보여줍니다: (i) 여러 토큰에 걸친 단어에 대해 인접한 토큰들을 하나의 단어 표현으로 병합하는 것, 그리고 (ii) 텍스트 인코더의 위치 임베딩(positional embedding)에 의해 각인되는 단어 순서입니다. 이를 입증하기 위해, 우리는 개별 단어의 의미와 순서만을 인코딩하고 전체 프롬프트에 대한 문맥 정보는 전혀 포함하지 않는 새로운 텍스트 임베딩을 구축합니다. 이러한 위치 태그가 지정된 단어 주머니(bag of position-tagged words) 표현만으로도 이미지 생성을 성공적으로 유도하기에 충분하며, 전체 텍스트 임베딩 기반 생성과 동등한 수준의 시각적 품질 및 텍스트 충실도를 달성함을 확인했습니다. 이는 일반적인 믿음과 달리, 텍스트-이미지 모델이 개별 단어 의미와 단어 순서를 넘어 텍스트 임베딩에 인코딩된 풍부한 정보를 활용하지 않는 경우가 많음을 보여줍니다. 대신 복잡한 언어적 구조의 디코딩은 이미지 모델 자체에 의해 수행됩니다. 프로젝트 웹페이지: https://nsping13.github.io/contextless-TTI/
원문 초록
Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링
Moonworks Lunara: Modeling Artistic Intelligence
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
KroQuant: Diffusion Transformer의 효율적 사후 학습 양자화를 위한 Kronecker 구조 블록 변환
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
확산 Transformer(DiT)의 W4A4 사후 학습 양자화(PTQ)는 각 선형 계층에 들어가는 활성화에 4비트 형식으로 표현할 수 없는 이상치(outlier)가 포함되어 있기 때문에 출력 품질을 심각하게 저하시킨다. 표준 해결책은 둘 다 양자화하기 전에 활성화에 가역 선형 변환을 적용하고, 가중치에는 그 역변환을 적용하는 것이다. 블록 사이의 정규화 층은 이 변환이 매 디노이징(denoising) 단계마다 온라인으로 실행되도록 강제하므로, 추론 계산 비용이 지배적 설계 제약이 된다. 기존 방법들은 양자화 품질과 추론 비용 사이에서 트레이드오프를 한다: 채널별 스케일링(SmoothQuant)은 계산 비용이 낮지만 채널의 크기(magnitude)에 영향을 주어 양자화 정확도를 해칠 수 있다; 고정 Hadamard 변환은 더 나은 양자화 정확도를 제공하지만 높은 온라인 비용을 수반하는 큰 블록 크기를 요구한다; 학습된 전체 $d$ 차원 가역 변환은 보정 성능이 가장 우수하지만 층당·단계당 감당하기 어려운 조밀한 $d \times d$ 행렬 곱(GEMM)을 수반한다. 우리는 KroQuant를 제안한다. 이는 활성화의 32요소 블록 각각에 학습된 Kronecker 구조 가역 변환을 적용하는 PTQ 방법으로, 채널별 스케일링보다 절반 미만의 파라미터만 저장한다. 블록 단위 구조는 작은 텐서 코어 GEMM으로 실행되며, MI350 GPU에서 KroQuant 양자화 커널은 SmoothQuant 커널보다 최대 $14\%$ 빠르다. 오프라인 LoRaQ 가중치 보정은 이어서 잔여(per-weight) 양자화 오차를 흡수한다. PixArt-$\Sigma$, SANA, FLUX.1-schnell에서 W4A4(MXFP4e2)로 평가할 때, KroQuant는 MJHQ-30K와 SDCI에서 SVDQuant 및 LoRaQ보다 FP 기준에 더 가까운 출력을 생성하면서 이미지 품질을 유지하거나 개선한다.
합성성을 잃어가다: 시간에 따른 합성성 예측
Losing My Composure: Predicting Compositionality Over Time
우리는 독일어와 영어 명사 복합어의 의미 변화 현상을 탐구하며, 과거 및 시간에 걸친 의미와 합성성(compositionality) 정도의 점진적 변화를 조사하고 모델링하는 것을 목표로 한다. 이를 위해 합성성 추세 예측(Compositionality Trend Prediction) 태스크를 소개하며, 23개의 독일어 및 26개의 영어 목표 복합어에 대해 수십 년에 걸친 통시적 말뭉치(diachronic corpora)에서 샘플링된 문맥 내 합성성 평가 점수로 구성된 새로운 데이터셋을 기반으로 평가한다. 이 데이터셋은 고유하게 10년 단위 평가 점수와 시간에 따른 대응 추세를 제공한다. 이러한 10년 단위 합성성 평가 점수를 통해, 복합어가 시간이 지남에 따라 합성성이 낮아진다(투명성이 낮아진다)는 아이디어와 같이 경험적으로 검증되지 않은 합성성 일반 추세 가설을 조사한다. 통시적 합성성 주석으로부터의 경험적 관찰 외에도, 다양한 복잡도의 의미 벡터 표현과 통시적 데이터에서 이 표현들을 학습하기 위한 여러 시간적 세분성을 활용한 실험을 수행하며, 각 표현 유형별로 약 100개의 모델을 생성했고, 각 모델은 통시적 말뭉치의 서로 다른 1~5십 년 구간을 다룬다. 문헌에서 제시된 결정적 경향과 달리, 목표 복합어에서 시간에 따른 합성성의 작은 음의 추세만이 관찰되었다. 계산 실험에서는, 통시적 데이터의 좁은 시간 구간(단일 10년 또는 점진적으로 확장되는 시간 창)에서 학습된 모델이 전체 반세기 창에서 학습된 모델보다 10년 단위 합성성 평가 점수와 더 잘 일치함을 발견했으며, 후자 설정은 말뭉치 데이터의 전반부 전체로 표현을 학습하는 일반적인 모델링 접근 방식에 해당한다. 또한, 합성성 추세 예측 태스크에서 정적 표현(static representations)이 문맥적 표현(contextual representations)과 경쟁력 있는 성능을 보임을 확인했다.
RGB 생성에서 밀집 필드 판독으로: 텍스트-이미지 모델을 활용한 픽셀 공간 밀집 예측
From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models
대규모 텍스트-이미지 모델은 밀집 예측(dense prediction)을 위한 백본으로 매력적인데, RGB 생성 사전학습이 풍부한 의미론적, 구조적, 기하학적 사전 지식을 학습하기 때문이다. 기존의 생성 및 편집 접근법들은 밀집 예측을 타깃 생성으로 변환함으로써 이러한 사전 지식을 재활용한다: 깊이, 법선, 알파 매트, 마스크, 히트맵과 같은 어노테이션을 RGB로 학습된 VAE 잠재 공간에 인코딩한 후 이미지 형태의 타깃으로 디코딩한다. 우리는 이러한 방식이 밀집 예측이 실제로 필요로 하는 것보다 더 많은 생성적 출력 인터페이스를 물려받는다고 주장한다: RGB 합성과 달리, 밀집 예측은 새로운 RGB 콘텐츠를 렌더링하는 것이 아니라 동일한 이미지 평면 위에서 픽셀 정확도의 태스크 고유 필드를 요구한다. 우리의 핵심 관찰은 사전학습된 DiT가 이미지 평면 위의 패치-토큰(token)-패치 격자를 통해 RGB 입력을 이미 구조화하고 있으며, 각 토큰이 RGB 외관 대신 태스크 고유 값을 담을 수 있는 채널을 가진 고정된 출력 패치를 인덱싱한다는 점이다. 우리는 이를 ReChannel로 구현한다: DiT의 입력 분포를 위해 VAE 인코더는 유지하되 타깃 측 디코더는 제거하고, 동결된 DiT를 태스크 LoRA로 적응시키며, 공유된 토큰 로컬 선형 헤드를 통해 각 토큰을 p × p × K_t 픽셀 공간 패치에 매핑한다—약 33K 파라미터로 공간 혼합 없이 동작한다. FLUX-Klein을 사용하여 여섯 가지 밀집 예측 태스크와 수십여 개의 벤치마크에서 평가한다. 이 최소한의 인터페이스는 트리맵 없는 매팅(trimap-free matting), KITTI 깊이, 지칭 분할(referring segmentation)에서 새로운 최첨단 성능을 달성하고, 법선, 현저성(saliency), 포즈에서도 경쟁력 있는 성능을 유지한다. 동일한 40억(4B) 파라미터 설정에서 편집-잠재 디코드 방식보다 정확도가 높고 2.48배 빠르다—밀집 지각은 생성적 사전학습의 출력 인터페이스를 물려받지 않고도 그 혜택을 누릴 수 있다.
확산 트랜스포머 깨우기: 대규모 활성화 변조를 통한 강력한 생성 및 이해 능력 유도
Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation
대규모 활성화(Massive Activations, MAs)는 트랜스포머 기반 모델에서 널리 관찰되어 왔으나, 확산 트랜스포머(Diffusion Transformers, DiTs)에서의 구조와 기능적 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 대표적인 DiTs에서 MAs를 체계적으로 분석하고, 이들이 이미지 토큰 전반에 걸쳐 공간적으로 분포하면서 소수의 고정된 특징 차원에 집중된다는 사실을 발견하였다. 또한 이러한 차원들이 AdaLN 잔차 스케일링 인수와 밀접하게 정렬되어 있으며, 텍스트 조건이 아닌 노이즈 제거 타임스텝에 의해 주로 변조된다는 것을 보인다. 이 구조는 태스크에 따라 두 가지 상이한 효과를 초래한다: 생성의 경우 MAs는 세밀한 디테일 합성에 중요한 반면 전역적 의미론에는 제한적인 영향을 미치며, 이해의 경우 공유된 고크기 방향으로 인해 원시 DiT 특징이 공간 토큰 간에 지나치게 유사해져 밀집 특징 변별력이 약화된다. 이러한 발견에 기반하여, 우리는 DiTs의 생성 및 표현 능력을 모두 향상시키기 위해 MAs를 통합 변조 신호로 활용하는 학습-불필요 프레임워크 EMA(Eliciting Massive Activation)를 제안한다. 생성 측면에서 EMA는 MA 기반 디테일 가이던스(Detail Guidance, DG)를 제안하는데, 이는 MA 차원을 억제하여 디테일이 결핍된 반사실적(counterfactual) 예측을 구성하고 더 세밀한 시각적 디테일을 향해 샘플링을 유도한다. DG는 효율적인 부분 순전파 추론, 분류기 없는 가이던스(classifier-free guidance)와의 통합, 그리고 선택된 이미지 영역을 정제하는 토큰 수준 Local DG를 추가로 지원한다. 이해 측면에서 EMA는 MA 변조 표현 추출(MA-modulated REPresentation extraction, MREP)을 도입하는데, 이는 사전학습된 AdaLN 채널별 변조를 사용하여 MA 방향적 우세성을 줄이고 유용한 공간 구조를 보존하기 위해 공간적으로 정규화된 MA 맵을 연결한다. 광범위한 실험을 통해 EMA가 DiTs의 생성 품질과 표현 능력을 모두 일관되게 향상시킴을 입증한다.
FairFlow: 텍스트-이미지 확산 트랜스포머의 스테레오타입 바이어스 규명 및 완화
FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers
멀티모달 확산 트랜스포머(MM-DiT)는 현대 텍스트-이미지 생성 시스템의 주류 백본으로 부상했다. 그러나 이 모델들은 치명적인 정렬 취약점을 내포하고 있어, 무해한 프롬프트에서도 심각한 스테레오타입 바이어스를 체계적으로 드러낸다. 이는 배포된 시스템에서 알고리즘적 차별이라는 중대한 위험을 초래한다. 기존 완화 전략의 대부분이 레거시 U-Net 아키텍처에 맞게 설계되었기 때문에, MM-DiT에서 이러한 취약점을 정밀하게 교정하는 것은 여전히 미해결 과제로 남아 있다. 본 연구에서는 먼저 기계론적 분석을 통해 이 취약점의 근본 원인을 규명한다. MM-DiT에서 바이어스 표현이 깊이 방향으로 균일하게 분포되지 않고, 내부 의미적 바인딩 허브로 기능하는 소수의 레이어들에 의해 매개된다는 사실을 밝힌다. 이 허브들은 단계별 전파 방식으로 바이어스 발현을 주도한다: 초기 허브는 바이어스에 취약한 구조적 템플릿을 형성하고, 중간 허브는 텍스트 조건화로부터 핵심 스테레오타입 개념을 능동적으로 추출하며, 후기 허브는 시각적 셀프 어텐션을 통해 이러한 바이어스를 전역적으로 고착시킨다. 이러한 아키텍처적 인사이트를 바탕으로, 우리는 내재적·기제 기반 완화 프레임워크인 FairFlow를 제안한다. FairFlow는 희소 조정(sparse steering)을 적용하는 내부 조절자로서, 속성별 공정한 방향을 학습하고 이를 제한된 추론 윈도우 내에서 식별된 의미적 허브에만 주입한다. FLUX.1-dev 및 Stable Diffusion 3에 대한 평가에서 FairFlow는 성별, 인종, 교차적 설정 전반에 걸쳐 스테레오타입 취약점을 효과적으로 중화하며 최적의 공정성-충실도 균형을 달성함을 보인다. 추론 오버헤드가 거의 없고 복잡한 프롬프트에도 강건한 FairFlow는 대규모 배포 MM-DiT 시스템을 위한 경량의 실용적인 바이어스 완화 방법을 제공한다. 코드와 데이터셋은 논문 승인 후 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project webpage: https://nsping13.github.io/contextless-TTI/