종단 간 이미지 생성을 위한 계층형 확산 트랜스포머
Hierarchical Diffusion Transformer for End-to-End Image Generation
한국어 초록
픽셀 공간 확산은 별도로 사전학습한 시각 인코더 없이 한 번의 종단 간 학습 단계에서 시각 표현과 이미지 생성을 함께 학습한다. 그러나 기본 픽셀 공간 트랜스포머는 생성 품질과 학습 효율에서 주요 2단계 잠재 확산 모델에 여전히 뒤처진다. 이 격차의 일부는 백본 전체에서 패치당 토큰 하나를 유지하는 데서 비롯된다고 가정한다. 이 구조는 관련 내용을 점점 더 거친 수준으로 요약하는 시각 계층을 명시적으로 유도하지 않는다. 관련 토큰을 점진적으로 묶고 각 그룹을 토큰 하나로 표현하는 계층형 확산 트랜스포머(HiT)를 도입한다. 트랜스포머의 주 병목부는 압축된 그룹 토큰을 처리하고, 그룹을 풀어 특징을 이미지의 원래 위치로 돌려놓는다. 압축 예산이 배치의 평균 압축률을 조절한다. 학습과 생성 중 그룹의 구성과 수는 이미지와 확산 시간 단계에 따라 달라질 수 있다. 모델은 의미 구조를 스스로 형성하며, 분할 레이블 없이도 관련 객체와 객체 부분을 묶는 법을 배운다. 텍스트-이미지 생성에서는 영역 주석 없이도 캡션의 단어와 같은 개념을 묘사하는 이미지 패치를 한 그룹으로 묶는다. HiT는 ImageNet $256\times256$에서 FID 1.48을 달성했고, JiT의 누적 학습 연산량 중 약 40%만 사용해 비슷한 생성 품질을 얻었다. 텍스트-이미지 생성에서는 잡음 제거기 매개변수를 약 $6\times$, 순전파 연산량을 $3\times$ 줄이면서 벤치마크 다섯 개의 평균 점수에서 UniLiP를 앞섰다. 이 결과는 생성기 안에서 시각적 계층 구조를 학습하면 외부 시각 사전학습 없이도 이미지 생성 성능을 더 높일 수 있음을 시사한다.
원문 초록
Pixel-space diffusion learns visual representations and image generation jointly in a single end-to-end training stage, without a separately pretrained visual encoder. However, plain pixel-space Transformers still trail leading two-stage latent diffusion models in generation quality and training efficiency. We hypothesize that part of this gap arises from retaining one token per patch throughout the backbone, which does not explicitly encourage a visual hierarchy that summarizes related content at progressively coarser levels. To address this, we introduce Hierarchical Diffusion Transformers (HiT), which progressively group related tokens and represent each group with a single token. The main Transformer bottleneck processes these compact group tokens, and ungrouping restores features to their original image positions. A compression budget regulates the average compression ratio across the batch, allowing group memberships and counts to vary across images and diffusion timesteps during both training and generation. The model exhibits emergent semantic structure, learning to group coherent objects and object parts without segmentation labels. In text-to-image generation, HiT further learns to group caption words with image patches depicting the same concepts, without region annotations. HiT achieves 1.48 FID on ImageNet $256\times256$ and reaches comparable generation quality to JiT using approximately 40\% of its cumulative training FLOPs. For text-to-image generation, HiT exceeds UniLiP's average score across five benchmarks with roughly $6\times$ fewer denoiser parameters and $3\times$ fewer forward FLOPs. These results suggest that learning a visual hierarchy within the generator breaks down the barrier to stronger image generation without external visual pretraining.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22962v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.