PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24919v1cs.CV

PixelDiT2: 표현 그라운딩 기반 픽셀 확산 트랜스포머

PixelDiT2: Representation-Grounded Pixel Diffusion Transformers

최근 픽셀 공간 확산 모델(pixel-space diffusion model)의 발전으로 잠재 공간(latent-space) 확산과의 화질 격차가 줄어들었으나, 여전히 수렴 속도가 느리고 최종 화질 면에서 뒤처져 있습니다. 본 논문에서는 명시적인 표현 사전확률(representation prior)의 부재가 그 주요 원인이라고 주장합니다. 주로 조밀하고 구조화된 잠재 공간에서 노이즈 제거(denoising)를 수행하는 잠재 확산과 달리, 픽셀 확산은 원시 RGB 공간에서 노이즈 제거에 적합한 표현 학습과 픽셀 생성을 동시에 수행해야 합니다. 이러한 문제를 해결하기 위해, 오토인코더(autoencoder)나 잠재 재구성 병목 현상을 도입하지 않고 표현 학습과 픽셀 생성을 분리하도록 설계된 엔드투엔드(end-to-end) 픽셀 공간 확산 모델인 PixelDiT2를 제안합니다. 동결된 사전학습(pre-training) 비전 파운데이션 모델을 활용하여 노이즈 제거 전반에 걸쳐 패치별 명시적인 표현 안내를 제공함으로써 픽셀 확산 트랜스포머가 픽셀 생성에 더욱 집중할 수 있도록 하는 표현 그라운딩(representation grounding)을 제안합니다. ImageNet-256x256에서 PixelDiT2는 600 에포크 학습 후 1.46의 FID를 달성했으며, 512x512 해상도에서는 680 에포크 후 1.48의 FID를 달성했습니다.

arXiv:2606.27760v1cs.CV

PixelU: 효율적인 End-to-End 픽셀 확산을 위한 U형 트랜스포머

PixelU: A U-Shaped Transformer for Efficient End-to-End Pixel Diffusion

End-to-end 픽셀 공간 확산 모델은 잠재 확산 모델(Latent Diffusion Models, LDM)의 손실 압축을 우회하지만, 고차원 공간에서 저주파 의미와 고주파 신호를 공동으로 모델링하는 데 어려움을 겪는다. 기존 연구들은 이 문제를 완화하기 위해 복잡한 픽셀 디코더에 크게 의존한다. 본 논문에서는 이러한 추세에 도전하며, 이러한 디코더가 주로 속도 예측(velocity prediction, $v$-prediction)에 내재된 최적화(optimization) 난점을 보완하는 역할을 한다는 점을 밝힌다. 클린 데이터 패러다임(clean data paradigm, $x$-prediction) 하에서는 이들은 중복된다. 이 통찰에 동기 부여되어, 우리는 복잡성보다 단순함을 옹호하고 픽셀 공간에 맞춘 미니멀리스트형 단일 단계 U형 확산 트랜스포머(Diffusion Transformer)인 PixelU를 제안한다. PixelU는 보조 디코더를 버리고 무(無)비용 스킵 연결(skip connections)을 채택하며, 이는 손상되지 않은 고주파 공간 세부 정보를 얕은 층에서 깊은 층으로 직접 전달하는 "정보 고속도로(information highway)" 역할을 한다. 백본(backbone)이 저주파 의미만을 모델링하는 데 전적으로 집중할 수 있도록, 우리는 자연스러운 저역 통과 필터(low-pass filter)로서의 일정 채널(constant-channel) 공간 다운샘플링(spatial down-sampling) 메커니즘을 도입하여, 깊은 층의 특징(feature)을 압축적이고 저주파의 의미 매니폴드(semantic manifold)로 압축한다. 광범위한 실험을 통해, 이러한 주파수 분리(decoupling of frequencies)가 강력한 기준선(JiT-G)을 약 1/3의 연산 비용만으로 능가할 수 있음을 보여준다. ImageNet 256$\times$256 및 512$\times$512에서 PixelU는 각각 FID 1.63과 1.92를 달성하여, 최근 픽셀 공간 방식들을 능가하고 end-to-end 확산 모델을 위한 단순하면서도 강력한 새로운 패러다임을 정립한다.