Iris-3B: 픽셀 공간 확산 학습, 변환 및 미세조정을 통한 잠재 공간 너머로의 확장
Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
한국어 초록
픽셀 공간(pixel-space) 확산 모델은 잠재(latent) 모델의 손실이 발생하는 VAE를 피하므로, 세밀한 디테일이 중요한 다운스트림 태스크에서 유리할 수 있음을 시사합니다. 본 연구에서는 픽셀 공간 백본으로 이어지는 두 가지 경로를 따라 이러한 주장을 검증합니다. 먼저 스케일링할 요소를 결정하기 위해 $256^2$ 해상도에서 예측 타깃 및 표현 정렬(representation alignment)에 대한 절제 연구를 수행한 후, $256\to512\to1024$ 커리큘럼을 통해 30억(3B) 매개변수를 갖는 픽셀 공간 텍스트-이미지 트랜스포머인 Iris-3B를 처음부터 사전학습합니다. 또한 사전학습된 잠재 모델인 FLUX.2 Klein base 4B를 픽셀 공간으로 변환합니다. 이어 단안 깊이 추정(monocular depth estimation)과 이미지 복원/초해상도(super-resolution)를 위해 두 모델 계열을 모두 미세조정합니다. 실험 결과, 픽셀 공간 생성 사전확률(generative prior)을 사용함으로써 얻는 유의미한 성능 향상은 발견되지 않았습니다. 동일하게 매칭된 직접 회귀 레시피로 깊이 추정을 위해 미세조정했을 때, Iris-3B는 잠재 기반 FLUX.2 Klein과 대등한 수준이었으며 변환된 픽셀 FLUX.2 Klein은 이에 뒤처졌습니다. 또한 $4\times$ DIV2K 복원에서도 두 픽셀 모델 모두 잠재 FLUX.2 Klein 미세조정 버전을 능가하지 못했고, 변환된 모델은 근소하게 뒤처졌습니다. 본 논문에서는 이러한 부정적 결과(negative result) 이면의 레시피, 실패 모드, 그리고 잔여 혼란 변인들을 상세히 기록합니다. 그럼에도 불구하고 Iris-3B는 PixelDiT의 픽셀 트랜스포머(PiT) 헤드를 활용한 픽셀 공간 사전학습이 30억 매개변수 규모까지 확장될 수 있으며, 잠재 모델과 경쟁할 수 있는 텍스트-이미지 생성 품질을 달성하여 $1024^2$ 해상도의 공식 평가 기준 OneIG에서 Qwen-Image와 대등함을 보여줍니다. 픽셀 공간 생성에 대한 후속 연구의 길을 여는 데 기여하기를 바라며 모델 가중치와 학습 코드를 공개합니다.
원문 초록
Pixel-space diffusion models avoid the lossy VAE of latent models, which suggests an advantage on downstream tasks where fine-grained detail matters. We test this claim along both routes to a pixel-space backbone. We pretrain Iris-3B, a 3B-parameter pixel-space text-to-image transformer, from scratch through a $256\to512\to1024$ curriculum, after first ablating the prediction target and representation alignment at $256^2$ to decide what to scale. We also convert a pretrained latent model, FLUX.2 Klein base 4B, to pixel space. We fine-tune both families for monocular depth estimation and for image restoration/super-resolution. We find no significant improvement from using a pixel-space generative prior. Fine-tuned for depth with one matched direct-regression recipe, Iris-3B is level with the latent FLUX.2 Klein and the converted pixel FLUX.2 Klein falls behind it, and on $4\times$ DIV2K restoration neither pixel model beats a latent FLUX.2 Klein fine-tune, the converted one trailing it slightly. We document the recipes, the failure modes and the remaining confounds behind this negative result. Nevertheless, Iris-3B shows that pixel-space pretraining with the pixel-transformer (PiT) head of PixelDiT scales to 3B parameters and to text-to-image quality competitive with latent models, matching Qwen-Image on OneIG under the official evaluators at $1024^2$. We release its weights and training code in the hope that they help pave the way for further work on pixel-space generation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages, 13 figures, 6 tables. Project lead: Hanqiu Li Cai. Code and models: https://github.com/speridlabs