arXiv:2510.16325v4 cs.CV

UltraImageGen: Efficient Ultra-High-Resolution Image Generation with Hierarchical Local Attention

Yuyao Zhang, Yu-Wing Tai

제출 2025-10-18

원문 초록

Ultra-high-resolution text-to-image generation is increasingly vital for applications requiring fine-grained textures and global structural fidelity, yet state-of-the-art text-to-image diffusion models such as FLUX and SD3 remain confined to sub 2MP (< $1K\times2K$) resolutions due to the quadratic complexity of attention mechanisms and the scarcity of high-quality high-resolution training data. We present UltraImageGen, a novel framework that introduces hierarchical local attention with low-resolution global guidance, enabling efficient, scalable, and semantically coherent image synthesis at ultra-high resolutions. Specifically, high-resolution latents are divided into hardware aligned fixed-size local windows to reduce attention complexity from quadratic to near-linear, while a low-resolution latent equipped with scaled positional embeddings injects global semantics as an anchor. A lightweight LoRA adaptation bridges global and local pathways during denoising, ensuring consistency across structure and detail. To maximize inference efficiency and achieve scalable ultra-high-resolution generation, we repermute token sequence in window-first order, so that the GPU-friendly dense local blocks in attention calculation equals to the fixed-size local window in 2D regardless of resolution. Together ourwork reliably scales the pretrained model to resolutions higher than $8K$ with more than $10\times$ speed up and significantly lower memory usage. Extensive experiments demonstrate that ourwork achieves superior quality while maintaining computational efficiency, establishing a practical paradigm for advancing ultra-high-resolution image generation.

요약

UltraImageGen은 FLUX, SD3 같은 최신 텍스트-이미지 확산 모델이 어텐션의 이차 복잡도로 인해 2MP 이하 해상도에 제한되는 문제를 해결하기 위해, 고해상도 잠재 변수를 고정 크기 로컬 윈도우로 분할하는 계층적 로컬 어텐션과 저해상도 전역 가이던스를 결합한 프레임워크다. 고해상도 학습 데이터 없이 256×256~1K×1K 데이터만으로 LoRA를 적응시켜, 8K 이상 해상도에서 밀집 어텐션 대비 10배 이상 추론 속도 향상과 대폭 낮은 메모리 사용량으로 최고 수준의 화질을 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.16325v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Denoising, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.03577v1cs.CV공통 태그 Image Generation, Computational Efficiency, Text-to-Image Generation

소수 스텝 확산 트랜스포머에서 무엇을 캐싱할 것인가에 대한 재고: 솔버 인식 기반 대상 선택

Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection

확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.

arXiv:2610.00483v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

arXiv:2610.01681v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

텍스트-이미지 생성이 편집에 도움이 되는 순간: 디노이징 과정에서의 조건화 효과

When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising

통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.

arXiv:2610.01969v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

arXiv:2610.02210v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

무어, 에셔, 펜로즈: 등각 골든 브레이드

Moore, Escher, Penrose: A Conformal Golden Braid

"내 평생 이렇게 기이한 작업을 해본 적이 없는 것 같다. 무엇보다도, 이 작품은 자기 자신이 등장하는 전시회 벽면의 판화를 흥미롭게 바라보는 한 젊은 남성을 보여준다. 어떻게 이런 일이 가능할까? 어쩌면 나는 아인슈타인의 휜 우주에서 그리 멀지 않은 곳에 있는지도 모른다." M.C. 에셔(M.C. Escher)는 자신의 1956년 석판화 '판화 회랑(Print Gallery)'에 대해 이렇게 썼다. 거의 반세기 후, 한 수학적 분석은 등각 거듭제곱 사상(conformal power map) $z \mapsto z^α$, $α\in \mathbb{C}$를 통해 이 기하학을 왜곡되지 않은 원본 이미지와 연결했다. 이러한 구조를 기반으로, 본 연구는 가중치가 동결된 텍스트-투-이미지 확산 모델(diffusion model)을 활용하여 새로운 자기참조적 장면을 생성한다. 프롬프트(prompt)만으로는 이러한 재귀성을 강제할 수 없으며, 사후 변환은 구조 간 연결을 부자연스럽게 남길 수 있다. 샘플링 중에 변환을 적용하는 것 또한 불충분한데, 디노이저(denoiser)가 의도된 왜곡을 "복구"해 버리거나 규정된 기하학에서 벗어날 수 있기 때문이다. 이에 본 연구는 재귀적 제약 조건에 적합하도록 비가역 이미지 변환 $T$의 일반화 역원(generalized inverse) $T^\dagger$를 구성한다. 이상적인 정식화에서 펜로즈 항등식(Penrose identity) $TT^\dagger T = T$는 $TT^\dagger$를 기하학적으로 허용 가능한 이미지로 사영하는 멱등 사영(idempotent projection)으로 만든다. 그러나 변환된 이미지만을 디노이징하는 것은 사영을 거치더라도 여전히 분포 외(out-of-distribution) 작업으로 남는다. 따라서 본 연구는 디노이징 단계를 $T$ 및 $T^\dagger$와 엮어내는 방식을 취한다. 원본 공간의 단계는 왜곡되지 않은 장면을 발전시키고, 변환된 공간의 단계는 최종 기하학에서의 외형과 연결성을 정교화한다. 이를 통해 '판화 회랑' 형태의 구성을 생성하고 추가적인 변환들을 탐색한다. 완성된 이미지를 왜곡하는 대신, 장면과 그 왜곡이 함께 생성되도록 유도한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.