TrioPose: 포즈 기반 텍스트-이미지 생성을 위한 네이티브 삼중 스트림 Diffusion Transformer
TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation
한국어 초록
포즈 기반 텍스트-이미지 생성은 복잡한 다인물 시나리오에서 사지 왜곡과 특징 간 크로스토크(crosstalk)로 인해 문제가 자주 발생한다. 기존 UNet 기반 어댑터는 장거리 공간 의존성을 처리하는 데 어려움을 겪는 반면, 새롭게 등장한 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformers, MM-DiTs)는 뛰어난 전역 모델링을 제공한다. 그러나 MM-DiTs에서 단순한 신호 연결(concatenation)은 사전학습된 잠재 분포를 심각하게 훼손한다. 이를 해결하기 위해 SD3.5M 아키텍처 위에 구축된 네이티브 포즈 기반 프레임워크인 TrioPose를 제안한다. 구체적으로, 포즈를 독립적인 모달리티로 취급하는 삼중 스트림 포즈 인식 DiT(Triple-Stream Pose-Aware DiT, TSPA-DiT)를 도입한다. 이는 층별 활성화와 영 초기화 이중 잔차 주입(dual-residual injection)을 사용하여 사전학습된 잠재 안정성을 유지하면서 기하학적 제약을 부드럽게 강제한다. 심각한 다중 인스턴스 가림(occlusion)을 해결하기 위해, 위상학적 연결성을 세분화된 물리적 상태로 분류하고 이를 연속적인 어텐션 소프트 제약으로 매핑하여 인스턴스 간 간섭을 효과적으로 분리하는 학습 가능 관계형 바이어스 마스크(Learnable Relational Bias Mask)를 설계한다. 또한 포즈 기반 공간 손실 가중치(Pose-Guided Spatial Loss Weighting) 전략은 히트맵에서 유도된 오차 맵을 사용하여 네이티브 확산 목적 함수를 조절하며, 해부학적 감독을 왜곡이 발생하기 쉬운 영역에 엄격히 집중한다. 광범위한 실험을 통해 TrioPose가 Human-Art, CrowdPose, OCHuman을 포함한 도전적인 벤치마크 전반에서 최첨단 성능을 달성함을 보여준다. 특히 Human-Art에서 AP 64.33을 달성하여 이전 연구 대비 30% 향상을 이루었으며, 복잡한 다인물 생성에서 시각적 충실도와 텍스트-이미지 의미 정렬의 새로운 기준을 제시한다.
원문 초록
Pose-guided text-to-image generation often suffers from limb distortions and feature crosstalk in complex multi-person scenarios. While existing UNet-based adapters struggle with long-range spatial dependencies, emerging Multimodal Diffusion Transformers (MM-DiTs) offer superior global modeling. However, naive signal concatenation in MM-DiTs severely disrupts pre-trained latent distributions. To address this, we propose TrioPose, a native pose-driven framework built upon the SD3.5M architecture. Specifically, we introduce a Triple-Stream Pose-Aware DiT (TSPA-DiT) that treats pose as an independent modality. It employs layer-wise activation and zero-initialized dual-residual injection to smoothly enforce geometric constraints while preserving pre-trained latent stability. To resolve severe multi-instance occlusions, we design a Learnable Relational Bias Mask that categorizes topological connectivity into fine-grained physical states, mapping them into continuous attention soft constraints to effectively decouple inter-instance interference. Furthermore, a Pose-Guided Spatial Loss Weighting strategy modulates the native diffusion objective using heatmap-derived error maps, focusing anatomical supervision strictly on distortion-prone regions. Extensive experiments demonstrate that TrioPose achieves state-of-the-art performance across challenging benchmarks, including Human-Art, CrowdPose, and OCHuman. Notably, it attains an AP of $64.33$ on Human-Art, representing a $30\%$ improvement over prior arts, while setting new standards for visual fidelity and text-image semantic alignment in complex multi-human generation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07053v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링
Moonworks Lunara: Modeling Artistic Intelligence
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
KroQuant: Diffusion Transformer의 효율적 사후 학습 양자화를 위한 Kronecker 구조 블록 변환
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
확산 Transformer(DiT)의 W4A4 사후 학습 양자화(PTQ)는 각 선형 계층에 들어가는 활성화에 4비트 형식으로 표현할 수 없는 이상치(outlier)가 포함되어 있기 때문에 출력 품질을 심각하게 저하시킨다. 표준 해결책은 둘 다 양자화하기 전에 활성화에 가역 선형 변환을 적용하고, 가중치에는 그 역변환을 적용하는 것이다. 블록 사이의 정규화 층은 이 변환이 매 디노이징(denoising) 단계마다 온라인으로 실행되도록 강제하므로, 추론 계산 비용이 지배적 설계 제약이 된다. 기존 방법들은 양자화 품질과 추론 비용 사이에서 트레이드오프를 한다: 채널별 스케일링(SmoothQuant)은 계산 비용이 낮지만 채널의 크기(magnitude)에 영향을 주어 양자화 정확도를 해칠 수 있다; 고정 Hadamard 변환은 더 나은 양자화 정확도를 제공하지만 높은 온라인 비용을 수반하는 큰 블록 크기를 요구한다; 학습된 전체 $d$ 차원 가역 변환은 보정 성능이 가장 우수하지만 층당·단계당 감당하기 어려운 조밀한 $d \times d$ 행렬 곱(GEMM)을 수반한다. 우리는 KroQuant를 제안한다. 이는 활성화의 32요소 블록 각각에 학습된 Kronecker 구조 가역 변환을 적용하는 PTQ 방법으로, 채널별 스케일링보다 절반 미만의 파라미터만 저장한다. 블록 단위 구조는 작은 텐서 코어 GEMM으로 실행되며, MI350 GPU에서 KroQuant 양자화 커널은 SmoothQuant 커널보다 최대 $14\%$ 빠르다. 오프라인 LoRaQ 가중치 보정은 이어서 잔여(per-weight) 양자화 오차를 흡수한다. PixArt-$\Sigma$, SANA, FLUX.1-schnell에서 W4A4(MXFP4e2)로 평가할 때, KroQuant는 MJHQ-30K와 SDCI에서 SVDQuant 및 LoRaQ보다 FP 기준에 더 가까운 출력을 생성하면서 이미지 품질을 유지하거나 개선한다.
분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유
Why DiT Models Underperform as Representation Learners without Long Skip Connections
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.