arXiv:2602.11658v2 cs.CV

EmoSpace: Immersive Affective Image Generation Guided by Fine-Grained Emotion Prototypes

Bingyuan Wang, Xingbei Chen, Zongyang Qiu, Lin-Ping Yuan, Zeyu Wang

제출 2026-02-12

원문 초록

Immersive affective content generation aims to create visually compelling VR imagery with controllable emotional nuance, yet existing methods typically rely on coarse labels or prompt-only control. Although modern diffusion transformers (DiTs) such as FLUX improve visual fidelity, they are not designed to incorporate structured affective representations. We present EmoSpace, an immersive affective content generation framework guided by fine-grained emotion prototypes, transforming free-form text and emotion descriptions into fine-grained affective imagery through three coordinated components. First, to represent sub-emotion variation beyond conventional categorical models, EmoSpace learns a hierarchical bank of 256 prototypes with input-conditioned adaptation through vision-language alignment. Second, Prototype-Conditioned Steering converts these prototypes into DiT-compatible generation signals through multi-pathway injection and temporal blending, while Iterative Prompt Refinement enriches prompts with prototype-aligned sub-emotion descriptors. Third, Affect-Grounded Modulation coordinates emotion conditioning with controllable LoRAs for panoramic, stylized, and multi-conditional generation. Through quantitative and qualitative evaluations, EmoSpace improves fine-grained emotional alignment while maintaining high aesthetic quality. Our user study shows that EmoSpace outputs are perceived as more emotionally aligned than baseline results and more suitable for immersive scene design. Additionally, we find that immersive presentation alters emotional perception and increases emotional engagement. Together, these findings inform the design of emotion-aware generative systems for immersive media, with potential applications including education, immersive storytelling, and artistic creation. We will release our code and models to facilitate future research along this line.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.11658v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10760v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, Prompt Engineering

DOGS: 프롬프트 기반 로고 생성을 위한 디자인 공간 샘플링

DOGS: Design-Space Sampling for Prompt-Driven Logo Generation

텍스트-투-이미지(T2I) 생성을 위한 프롬프트(prompt) 최적화는 주로 짧은 사용자 요구 사항을 모델(model)이 선호하는 더 긴 토큰(token) 시퀀스로 확장하는 텍스트 재작성 방식으로 연구되어 왔다. 본 논문에서는 한 줄짜리 요구 사항만으로는 대부분의 디자인 결정 사항이 명시되지 않는 로고 제작과 같은 구조화된 시각적 디자인 작업에 이러한 언어 공간 기반 정식화가 적합하지 않다고 주장한다. 이러한 결정들은 선형적 시퀀스로는 인코딩할 수 없는 관계적 사전 지식에 의존하며, 보호받는 상표가 무단 복제될 수 있는 통제되지 않은 경로를 남긴다. 따라서 본 연구에서는 로고 프롬프팅을 구조화된 디자인 공간 내에서의 샘플링으로 재구성하고, 이를 DOGS(독창성 인식 GFlowNet 샘플러 기반 디자인 공간 프롬프팅)로 구체화한다. 실제 로고로 구성된 대규모 말뭉치로부터 경험적 동시 발생 관계를 엣지로 기록하는 타입화된 그래프 구조의 디자인 문법을 추출한다. 이어 GFlowNet 샘플러는 인지성, 심미성, 그리고 말뭉치 상대적 독창성을 결합한 최종 보상(reward)에 비례하는 확률로 디자인 그래프를 생성한다. 모든 슬롯은 폐쇄된 디자인 수준 어휘만을 사용하며, 침해를 유발하거나 유해한 토큰은 파싱 과정에서 제거된다. 독창성 보상은 기존 로고와의 유사도에 추가적인 페널티를 부여함으로써, 설계 자체로 상표권 침해 방지 기능을 결합한다. 두 개의 오픈소스 렌더러와 9개의 베이스라인을 대상으로 한 평가에서, DOGS는 더 우수한 인지성과 심미성을 지니며 훨씬 더 다양하고 상표권 침해 가능성이 극히 낮은 로고를 생성함을 입증한다.

arXiv:2609.22272v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, diffusion transformer

Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링

Moonworks Lunara: Modeling Artistic Intelligence

우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.

arXiv:2609.24215v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, emotion control

감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성

Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance

텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.

arXiv:2607.21446v1cs.LG공통 태그 Image Generation, Text-to-Image Generation, diffusion transformer

KroQuant: Diffusion Transformer의 효율적 사후 학습 양자화를 위한 Kronecker 구조 블록 변환

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

확산 Transformer(DiT)의 W4A4 사후 학습 양자화(PTQ)는 각 선형 계층에 들어가는 활성화에 4비트 형식으로 표현할 수 없는 이상치(outlier)가 포함되어 있기 때문에 출력 품질을 심각하게 저하시킨다. 표준 해결책은 둘 다 양자화하기 전에 활성화에 가역 선형 변환을 적용하고, 가중치에는 그 역변환을 적용하는 것이다. 블록 사이의 정규화 층은 이 변환이 매 디노이징(denoising) 단계마다 온라인으로 실행되도록 강제하므로, 추론 계산 비용이 지배적 설계 제약이 된다. 기존 방법들은 양자화 품질과 추론 비용 사이에서 트레이드오프를 한다: 채널별 스케일링(SmoothQuant)은 계산 비용이 낮지만 채널의 크기(magnitude)에 영향을 주어 양자화 정확도를 해칠 수 있다; 고정 Hadamard 변환은 더 나은 양자화 정확도를 제공하지만 높은 온라인 비용을 수반하는 큰 블록 크기를 요구한다; 학습된 전체 $d$ 차원 가역 변환은 보정 성능이 가장 우수하지만 층당·단계당 감당하기 어려운 조밀한 $d \times d$ 행렬 곱(GEMM)을 수반한다. 우리는 KroQuant를 제안한다. 이는 활성화의 32요소 블록 각각에 학습된 Kronecker 구조 가역 변환을 적용하는 PTQ 방법으로, 채널별 스케일링보다 절반 미만의 파라미터만 저장한다. 블록 단위 구조는 작은 텐서 코어 GEMM으로 실행되며, MI350 GPU에서 KroQuant 양자화 커널은 SmoothQuant 커널보다 최대 $14\%$ 빠르다. 오프라인 LoRaQ 가중치 보정은 이어서 잔여(per-weight) 양자화 오차를 흡수한다. PixArt-$\Sigma$, SANA, FLUX.1-schnell에서 W4A4(MXFP4e2)로 평가할 때, KroQuant는 MJHQ-30K와 SDCI에서 SVDQuant 및 LoRaQ보다 FP 기준에 더 가까운 출력을 생성하면서 이미지 품질을 유지하거나 개선한다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.