arXiv:2606.06498v1 cs.GR

생성형 픽토리얼 차트를 위한 의미-구조 정렬

Semantic-Structural Alignment for Generative Pictorial Charts

Zhida Sun, Yulin Zhang, Zheng Gu, Min Lu, Bongshin Lee, Daniel Cohen-Or, Hui Huang

제출 2026-05-05

한국어 초록

전통적인 통계 그래픽은 정확하지만, 픽토리얼 차트가 갖는 시각적 매력, 기억 용이성, 참여도가 부족한 경우가 많다. 우리는 의미 표현과 구조적 충실성 사이의 간극을 메우는 픽토리얼 차트 자동 합성을 위한 생성형 프레임워크를 제안한다. 차트를 단순히 스타일을 입힐 이미지로 취급하는 대신, 우리는 이 문제를 두 가지 병렬 외부 제어 신호로 안내되는 이중 조건 생성(dual-conditioned generation) 작업으로 설정한다. 하나는 편집 의도의 의미적 맥락을 포착하는 텍스트 프롬프트이고, 다른 하나는 추상적 통계 차트의 전역 구조를 제공하는 컨텍스트 이미지이다. 멀티모달 확산 트랜스포머(Multi-Modal Diffusion Transformer) 내에서 이러한 제어를 강화하기 위해, 우리는 두 가지 상보적인 특징 수준 메커니즘을 도입한다. 하나는 입력 차트에 공간 레이아웃을 고정하는 구조 정렬(structural alignment)이고, 다른 하나는 참조 이미지로부터 표현적 텍스처를 전달하는 의미 정렬(semantic alignment)이다. 길이, 면적, 각도, 위치 등 주요 시각 채널과 다양한 의미 도메인에 걸쳐 일반화하여, 우리 방법은 예술적으로 매력적이면서 구조적으로도 일관된 픽토리얼 차트를 생성한다. 광범위한 정량 평가와 지각적(perceptual) 사용자 연구를 통해, 우리 프레임워크가 기존의 조건부 생성 및 이미지 편집 기준선보다 우수함을 보여주며, 표현적인 시각적 스토리텔링에서 고충실도 데이터 기반 생성 모델링의 기반을 제공한다. 프로젝트 페이지: https://ssalign.github.io/.

원문 초록

Traditional statistical graphics are precise but often lack the visual appeal, memorability, and engagement of pictorial charts. We present a generative framework for the automated synthesis of pictorial charts that bridges the gap between semantic expression and structural faithfulness. Rather than treating charts merely as images to be stylized, we frame the problem as a dual-conditioned generation task guided by two parallel external control signals: a text prompt capturing the semantic context of the editing intent, and a context image providing the abstract statistical chart's global structure. To reinforce these controls within a Multi-Modal Diffusion Transformer, we introduce two complementary feature-level mechanisms: structural alignment to anchor spatial layouts to the input chart, and semantic alignment to transfer expressive textures from reference images. Generalizing across major visual channels (i.e., length, area, angle, and position) and diverse semantic domains, our method produces pictorial charts that are both artistically compelling and structurally consistent. Extensive quantitative evaluations and perceptual user studies demonstrate that our framework outperforms traditional controllable generation and image editing baselines, providing a foundation for high-fidelity, data-driven generative modeling in expressive visual storytelling. Project page: https://ssalign.github.io/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06498v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22272v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, diffusion transformer

Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링

Moonworks Lunara: Modeling Artistic Intelligence

우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.

arXiv:2607.21446v1cs.LG공통 태그 Image Generation, Text-to-Image Generation, diffusion transformer

KroQuant: Diffusion Transformer의 효율적 사후 학습 양자화를 위한 Kronecker 구조 블록 변환

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

확산 Transformer(DiT)의 W4A4 사후 학습 양자화(PTQ)는 각 선형 계층에 들어가는 활성화에 4비트 형식으로 표현할 수 없는 이상치(outlier)가 포함되어 있기 때문에 출력 품질을 심각하게 저하시킨다. 표준 해결책은 둘 다 양자화하기 전에 활성화에 가역 선형 변환을 적용하고, 가중치에는 그 역변환을 적용하는 것이다. 블록 사이의 정규화 층은 이 변환이 매 디노이징(denoising) 단계마다 온라인으로 실행되도록 강제하므로, 추론 계산 비용이 지배적 설계 제약이 된다. 기존 방법들은 양자화 품질과 추론 비용 사이에서 트레이드오프를 한다: 채널별 스케일링(SmoothQuant)은 계산 비용이 낮지만 채널의 크기(magnitude)에 영향을 주어 양자화 정확도를 해칠 수 있다; 고정 Hadamard 변환은 더 나은 양자화 정확도를 제공하지만 높은 온라인 비용을 수반하는 큰 블록 크기를 요구한다; 학습된 전체 $d$ 차원 가역 변환은 보정 성능이 가장 우수하지만 층당·단계당 감당하기 어려운 조밀한 $d \times d$ 행렬 곱(GEMM)을 수반한다. 우리는 KroQuant를 제안한다. 이는 활성화의 32요소 블록 각각에 학습된 Kronecker 구조 가역 변환을 적용하는 PTQ 방법으로, 채널별 스케일링보다 절반 미만의 파라미터만 저장한다. 블록 단위 구조는 작은 텐서 코어 GEMM으로 실행되며, MI350 GPU에서 KroQuant 양자화 커널은 SmoothQuant 커널보다 최대 $14\%$ 빠르다. 오프라인 LoRaQ 가중치 보정은 이어서 잔여(per-weight) 양자화 오차를 흡수한다. PixArt-$\Sigma$, SANA, FLUX.1-schnell에서 W4A4(MXFP4e2)로 평가할 때, KroQuant는 MJHQ-30K와 SDCI에서 SVDQuant 및 LoRaQ보다 FP 기준에 더 가까운 출력을 생성하면서 이미지 품질을 유지하거나 개선한다.

arXiv:2607.10165v1cs.CV공통 태그 Image Generation, Style Transfer, Text-to-Image Generation

EmoStyle: 감성 이미지 생성을 위한 스타일 전문가 혼합의 감성 조건화

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.

arXiv:2607.11886v2cs.CV공통 태그 Image Generation, Text-to-Image Generation

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.