arXiv:2609.03796v1 cs.CV

LLaDA-Image: 완전 공개 학습 레시피로 강력한 이미지 생성기 구축

LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes

Chuyan Chen, Haoxing Chen, Kun Chen, Zhenglin Cheng, Long Cui, Ruishan Fang, Zhangxuan Gu, Zhicheng Huang, Zhenzhong Lan, Yuanting Lei, Haoquan Li, Jianguo Li, Rongchuan Li, Sidu Li, Tao Lin 외 15명

제출 2026-09-03

한국어 초록

우리는 처음부터 학습한 6B 디퓨전 트랜스포머(DiT)와 LLaDA2.0-Mini 디퓨전 언어 모델 백본 위에 구축된 고정(frozen) 비전-언어 이해 모듈을 결합한 통합 프레임워크 LLaDA-Image를 소개한다. 처음부터 paired image-text 데이터에 크게 의존하는 대신, 이미지 전용 사전학습과 mid-training을 통해 강력한 시각 생성 사전(prior)을 먼저 구축한다. 생성 파이프라인은 2억 2천만(220M) 개의 샘플로 구성되며, 그 중 98개가 실제 이미지이다. 효율적이고 확장 가능한 최적화를 위해 DiT 전체에 매개변수 없는(parameter-free) RMSNorm과 Muon 옵티마이저를 함께 사용한다. 이렇게 얻은 통합 모델은 고도로 사실적인(photorealistic) 이미지를 생성하면서 세밀한 편집 지시를 정확히 따른다. 또한 LLaDA-Image를 LLaDA-Image-Turbo로 지식 증류(distillation)하여 2–4 샘플링 스텝에서 빠른 추론(inference)을 가능하게 한다. Qwen-Image-Bench에서 LLaDA-Image는 영어 및 중국어 트랙에서 각각 전체 점수 53.53과 53.38을 달성하여, 두 트랙 모두에서 오픈소스 모델 중 새로운 state-of-the-art를 기록한다. 능력 있고 효율적인 생성 모델에 대한 추가 연구를 지원하기 위해 모델 가중치, 학습(training) 코드, 상세 레시피를 공개한다.

원문 초록

We introduce LLaDA-Image, a unified framework that pairs a 6B Diffusion Transformer (DiT) trained from scratch with a frozen vision-language understanding module built on the LLaDA2.0-Mini diffusion language model backbone. Instead of relying heavily on paired image-text data from the beginning, we first build a strong visual generative prior through image-only pre-training and mid-training. The generation pipeline comprises 220M samples, 98 of which are real images. For efficient and scalable optimization, we use parameter-free RMSNorm throughout the DiT together with the Muon optimizer. The resulting unified model produces highly photorealistic images while accurately following fine-grained editing instructions. We further distill LLaDA-Image into LLaDA-Image-Turbo, enabling fast inference in 2-4 sampling steps. On Qwen-Image-Bench, LLaDA-Image achieves overall scores of 53.53 and 53.38 on the English and Chinese tracks, respectively, setting a new state-of-the-art among open-source models on both tracks. To support further research on capable and efficient generative models, we release our model weights, training code, and detailed recipes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.03796v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.