PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27978v2cs.CV

픽셀 공간 자기회귀 이미지 생성을 위한 병렬 롤아웃 근사

Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation

Pixel-space continuous-token autoregressive (AR) generation directly models images as sequences of raw pixel patches, avoiding discrete tokenization or a separately pretrained tokenizer. However, it faces coupled challenges: high-dimensional patch generation causes large single-step errors, and teacher-forced training creates a train--inference gap that makes these errors accumulate across AR steps. Existing fixes such as $x$-prediction and input noise injection only partially mitigate these issues. Exact rollout training better matches inference-time conditions, but is impractical due to prohibitively slow sequential sampling. We propose Parallel Rollout Approximation (PRA), a scalable framework that addresses both challenges jointly. PRA generates low-dimensional intermediate states and maps them to pixel patches through a one-step denoising pixel decoder, preserving a pixel-in, pixel-out AR interface. The same decoder also constructs inference-like training inputs from perturbed intermediate states through the same intermediate-state-to-pixel path used at inference, while retaining parallel training over positions. On class-conditional ImageNet-1K generation at $256\times256$ resolution, PRA-S with 135M parameters achieves an FID of 2.58, surpassing the previous billion-scale pixel-space AR result of 3.60. Scaling to PRA-L with 511M parameters further improves FID to 1.94, establishing a new SOTA among pixel-space AR models. Beyond generation, PRA achieves higher ImageNet classification probing accuracy than other AR and diffusion baselines, suggesting its potential for unified pixel-space image generation and understanding.

arXiv:2405.03650v4cs.CV

Generated Contents Enrichment

희소한 장면 설명에서 씬 그래프(scene graph)를 명시적으로 구성·풍부화한 뒤 이미지를 생성하는 GCE(Generated Contents Enrichment) 태스크를 제안하며, 그래프 합성곱 네트워크(GCN)를 활용한 적대적 프레임워크로 객체와 관계를 추가 예측한다. Visual Genome 데이터셋에서 씬 그래프 풍부화 지표, 이미지 품질 비교, 사용자 연구를 통해 의미적으로 더 풍부하고 구조적으로 일관된 이미지를 생성함을 검증했다.

arXiv:2606.13341v1cs.CV

다중모달 CT-PET 합성을 위한 이중 도메인 등변 생성적 적대 신경망

Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis

본 논문에서는 다중모달 CT-PET 이미지 합성을 위한 이중 도메인 등변 생성적 적대 신경망(DDE-GAN)을 제안한다. 기존 GAN 기반 접근법은 주로 공간 도메인(spatial domain)에서만 동작하며 기하학적 일관성을 무시하여 구조적 충실도가 제한되는 문제가 있다. DDE-GAN은 공간 및 주파수(Fourier) 도메인 모두에서 공동 학습하여 상호 보완적인 해부학적·스펙트럼 정보를 포착함으로써 이러한 문제를 해결한다. 또한 CT 및 PET 측정 물리학에 내재된 회전 등변성(rotational equivariance)을 생성자(generator)와 판별자(discriminator) 모두의 손실 함수에 통합하여, 회전에 대한 일관된 응답을 보장하고 해부학적 정확도를 향상시킨다. 계층적 이중 도메인 학습 전략은 다단계 손실 함수를 통해 도메인 내 및 도메인 간 일관성을 강제한다. HECKTOR 2022 CT-PET 데이터셋에서 평가한 결과, DDE-GAN은 CT-PET 이미지 합성에서 기준 모델 대비 우수한 합성 품질을 달성했다. 결과는 이중 도메인 학습과 기하학적 등변성의 결합이 다중모달 이미지 합성의 정확도와 견고성을 크게 향상시켜 PET 완성(completion) 및 데이터 증강(data augmentation)의 실질적 적용을 가능하게 함을 보여준다.