EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
원문 초록
Diffusion transformers have been widely adopted for text-to-image synthesis. While scaling these models up to billions of parameters shows promise, the effectiveness of scaling beyond current sizes remains underexplored and challenging. By explicitly exploiting the computational heterogeneity of image generations, we develop a new family of Mixture-of-Experts (MoE) models (EC-DIT) for diffusion transformers with expert-choice routing. EC-DIT learns to adaptively optimize the compute allocated to understand the input texts and generate the respective image patches, enabling heterogeneous computation aligned with varying text-image complexities. This heterogeneity provides an efficient way of scaling EC-DIT up to 97 billion parameters and achieving significant improvements in training convergence, text-to-image alignment, and overall generation quality over dense models and conventional MoE models. Through extensive ablations, we show that EC-DIT demonstrates superior scalability and adaptive compute allocation by recognizing varying textual importance through end-to-end training. Notably, in text-to-image alignment evaluation, our largest models achieve a state-of-the-art GenEval score of 71.68% and still maintain competitive inference speed with intuitive interpretability.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링
Moonworks Lunara: Modeling Artistic Intelligence
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
MMOE: 효율적 전문가 설계를 통한 확산 트랜스포머의 현대화
MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
현대의 대규모 언어 모델(LLM)은 용량 증가와 효율성을 병행함으로써 성공적으로 스케일링하며, 용량이 커질수록 토큰당 비용과 배포 비용을 통제합니다. AIGC 기반 모델(AFM), 특히 확산-트랜스포머 백본은 희소 전문가를 도입하기 시작했지만, 최근 연구들은 대부분 LLM 스케일링을 실용적으로 만든 효율성 메커니즘을 가져오지 않은 채 총 매개변수 수와 희소성 비율만 키우는 데 그쳐, 생성 품질이 학습 및 배포 비용과 균형을 이루는 경우가 드뭅니다. 이는 자연스러운 질문을 제기합니다: 효율적인 LLM 스케일링 뒤에 있는 아키텍처 원칙을 AFM에 더 균형 잡힌 방식으로 적용할 수 있을까? 우리는 ModernMOE(MMOE)를 제안합니다. 이는 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 어텐션-잔차 정보 재사용을 AIGC 생성에 체계적으로 적용한 SiT 스타일 확산 트랜스포머의 현대화입니다. 전문가 혼합(MoE)을 단일 플러그인 대체로 취급하기보다, MMOE는 확산 트랜스포머 내부에 구성했을 때 서로 다른 현대적 전문가 구성 요소가 수렴, 효율성, 생성 품질에 어떤 영향을 미치는지 연구합니다. 본 논문의 모든 실험은 접근 가능한 단일 머신 예산으로, 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 스텝 동안 학습되었습니다. 동일한 학습 및 샘플링 프로토콜과 이 예산 하에서, MMOE는 기록된 모든 체크포인트에서 더 낮은 FID, 즉 학습 스텝당 더 빠른 수렴을 밀집(dense) 및 중간 희소-전문가 베이스라인보다 달성하며, 희소 변형들 중에서 최상의 품질-비용 균형을 이룹니다. 라우팅 분석은 또한 깊이에 걸친 안정적인 전문가 특화, 경량 경로의 상당한 사용, 디노이징 중 단계 간 라우팅 변화의 적절한 수준을 보여줍니다. 이 결과는 AFM이 총 매개변수와 희소성 비율을 단순히 늘리는 것이 아니라 검증된 효율성 설계를 도입함으로써 LLM의 균형 잡힌 스케일링 경로를 따를 수 있음을 시사합니다.
TAMF-VTON: 고충실도 이미지 합성 기반 텍스처 인식 무마스크 가상 착용
TAMF-VTON: Texture-Aware Mask-Free Virtual Try-On via High-Fidelity Image Synthesis
최근 확산(diffusion) 기반 가상 착용(VTON) 방법은 분할 마스크(segmentation mask)에 대한 의존, 세밀한 텍스처 보존의 부족, 임의의 다중 의류 구성에 대한 제한적 지원으로 인해 여전히 한계가 있다. 따라서 기존 접근법은 실제 전자상거래 배포에서 여전히 상당한 어려움에 직면한다. 우리는 실용적인 비제약 조건에서 고충실도 이미지 합성을 가능하게 하는 텍스처 인식, 마스크 없는 프레임워크인 TAMF-VTON을 제시한다. 우리 방법은 추론 시 인간 파싱(human parsing)이나 인페인팅(inpainting) 마스크를 필요로 하지 않으며, 다양한 의류 스타일, 카테고리, 수량을 지원하여 신체 구조와 정교한 텍스처 디테일을 보존하면서 여러 의류를 동시에 착용시킬 수 있다. 이는 세 가지 핵심 구성 요소를 갖춘 통합 생성 파이프라인을 통해 달성된다: (1) 기본 모델의 일반 편집 능력을 훼손하지 않으면서 효율적인 미세조정을 가능하게 하는 경량 전문가 혼합(MoE) 적응 방식; (2) 고충실도 텍스처를 보존하기 위해 고주파 스펙트럼 일관성을 명시적으로 최적화하는 주파수 영역 감독 메커니즘; (3) 고품질 학습 쌍 생성을 위해 역 VTON 과정을 시뮬레이션하는 적응형 인페인팅 전략을 사용하는 견고한 데이터 큐레이션 파이프라인. 광범위한 실험을 통해 우리 접근법이 정량적 지표와 지각적 품질 모두에서 최신(state-of-the-art) 방법들을 능가함을 보여준다. 효율성을 위해 최적화된 이 모델은 INT4 양자화 하에서 NVIDIA RTX 4090에서 이미지당 15초 미만의 추론을 달성한다. 마스크 없는 동작, 유연한 다중 의류 구성, 충실한 텍스처 보존, 소비자 하드웨어에서의 효율적 추론을 결합함으로써, TAMF-VTON은 실제 디지털 패션 시나리오에서 확장 가능한 배포를 위한 상업적으로 실행 가능한 솔루션임을 보여준다. 프로젝트는 https://www.style3d.ai/ai-photoshoot/virtual-clothing-try-on 에서 이용할 수 있다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.