arXiv:2610.09450v1 cs.CV

Iris-3B: 픽셀 공간 확산 학습, 변환 및 미세조정을 통한 잠재 공간 너머로의 확장

Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning

Hanqiu Li Cai, Chema Garabito

제출 2026-10-07

저자 비고

arXiv Comments

19 pages, 13 figures, 6 tables. Project lead: Hanqiu Li Cai. Code and models: https://github.com/speridlabs

한국어 초록

픽셀 공간(pixel-space) 확산 모델은 잠재(latent) 모델의 손실이 발생하는 VAE를 피하므로, 세밀한 디테일이 중요한 다운스트림 태스크에서 유리할 수 있음을 시사합니다. 본 연구에서는 픽셀 공간 백본으로 이어지는 두 가지 경로를 따라 이러한 주장을 검증합니다. 먼저 스케일링할 요소를 결정하기 위해 $256^2$ 해상도에서 예측 타깃 및 표현 정렬(representation alignment)에 대한 절제 연구를 수행한 후, $256\to512\to1024$ 커리큘럼을 통해 30억(3B) 매개변수를 갖는 픽셀 공간 텍스트-이미지 트랜스포머인 Iris-3B를 처음부터 사전학습합니다. 또한 사전학습된 잠재 모델인 FLUX.2 Klein base 4B를 픽셀 공간으로 변환합니다. 이어 단안 깊이 추정(monocular depth estimation)과 이미지 복원/초해상도(super-resolution)를 위해 두 모델 계열을 모두 미세조정합니다. 실험 결과, 픽셀 공간 생성 사전확률(generative prior)을 사용함으로써 얻는 유의미한 성능 향상은 발견되지 않았습니다. 동일하게 매칭된 직접 회귀 레시피로 깊이 추정을 위해 미세조정했을 때, Iris-3B는 잠재 기반 FLUX.2 Klein과 대등한 수준이었으며 변환된 픽셀 FLUX.2 Klein은 이에 뒤처졌습니다. 또한 $4\times$ DIV2K 복원에서도 두 픽셀 모델 모두 잠재 FLUX.2 Klein 미세조정 버전을 능가하지 못했고, 변환된 모델은 근소하게 뒤처졌습니다. 본 논문에서는 이러한 부정적 결과(negative result) 이면의 레시피, 실패 모드, 그리고 잔여 혼란 변인들을 상세히 기록합니다. 그럼에도 불구하고 Iris-3B는 PixelDiT의 픽셀 트랜스포머(PiT) 헤드를 활용한 픽셀 공간 사전학습이 30억 매개변수 규모까지 확장될 수 있으며, 잠재 모델과 경쟁할 수 있는 텍스트-이미지 생성 품질을 달성하여 $1024^2$ 해상도의 공식 평가 기준 OneIG에서 Qwen-Image와 대등함을 보여줍니다. 픽셀 공간 생성에 대한 후속 연구의 길을 여는 데 기여하기를 바라며 모델 가중치와 학습 코드를 공개합니다.

원문 초록

Pixel-space diffusion models avoid the lossy VAE of latent models, which suggests an advantage on downstream tasks where fine-grained detail matters. We test this claim along both routes to a pixel-space backbone. We pretrain Iris-3B, a 3B-parameter pixel-space text-to-image transformer, from scratch through a $256\to512\to1024$ curriculum, after first ablating the prediction target and representation alignment at $256^2$ to decide what to scale. We also convert a pretrained latent model, FLUX.2 Klein base 4B, to pixel space. We fine-tune both families for monocular depth estimation and for image restoration/super-resolution. We find no significant improvement from using a pixel-space generative prior. Fine-tuned for depth with one matched direct-regression recipe, Iris-3B is level with the latent FLUX.2 Klein and the converted pixel FLUX.2 Klein falls behind it, and on $4\times$ DIV2K restoration neither pixel model beats a latent FLUX.2 Klein fine-tune, the converted one trailing it slightly. We document the recipes, the failure modes and the remaining confounds behind this negative result. Nevertheless, Iris-3B shows that pixel-space pretraining with the pixel-transformer (PiT) head of PixelDiT scales to 3B parameters and to text-to-image quality competitive with latent models, matching Qwen-Image on OneIG under the official evaluators at $1024^2$. We release its weights and training code in the hope that they help pave the way for further work on pixel-space generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09450v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.