RefGC-SR$^2$: 참조 기반 생성형 AI 콘텐츠 초해상화 및 정제
RefGC-SR$^2$: Reference-guided Super-Resolution and Refinement of AI Generated Content
한국어 초록
참조 기반 생성(예: 객체 합성, 커스터마이징)은 빠르게 발전해 왔으나, 기존 파이프라인들은 근본적인 한계를 공유합니다. 사용자가 제공한 객체 중심의 고해상도 참조 이미지(HRRI)가 모델에 입력되기 전에 고정된 저해상도(LR)로 다운샘플링되어, 출력이 생성되기도 전에 미세한 세부 정보가 버려진다는 점입니다. 게다가 생성 단계에서는 이러한 정보 손실 위에 고유한 아티팩트(예: 정체성 왜곡)가 추가로 발생합니다. 기존의 참조 기반 생성 콘텐츠 정제(RefGCR) 방식은 이러한 아티팩트 중 일부를 보정할 수 있지만 여전히 저해상도 영역에서 작동하며, 참조 기반 초해상화(RefSR) 방식은 해상도를 복원하지만 자연 이미지 열화를 가정하여 생성 파이프라인의 아티팩트 분포를 무시합니다. 이러한 두 가지 한계를 단일 프레임워크에서 해결하기 위해, 본 논문에서는 원본 HRRI를 후처리 단계에서 재사용하여 손실된 세부 정보를 복원하고, 생성 아티팩트를 정제하며, 출력을 동시에 업스케일링하는 새로운 태스크인 참조 기반 생성 콘텐츠 초해상화-정제(RefGC-SR$^2$)를 제안합니다. 우리는 이 RefGC-SR$^2$ 태스크를 위해 최초의 실제 삼중항(triplet) 데이터 생성 파이프라인을 구축하고, 공개된 사전학습 모델이 제공할 수 없는 쌍을 이루는 저품질 앵커를 합성하도록 딥틱 조건부 생성기를 학습시킵니다. 나아가 생성 아티팩트를 제거하면서 HRRI의 미세 세부 정보를 선택적으로 주입하는 RefGC-SR$^2$용 주파수 인식 확산 트랜스포머(diffusion transformer) 모델을 제시합니다. 광범위한 실험을 통해 제안하는 RefGC-SR$^2$ 모델이 (i) 참조 이미지에 충실하게 객체 정체성을 정제하고, (ii) 고해상도 세부 정보를 성공적으로 복원하여, 기존 RefGCR 및 RefSR 베이스라인과 비교해 최종 결과물이 현저히 높은 품질과 실질적인 활용성을 보임을 입증합니다.
원문 초록
Reference-guided generation (e.g., object compositing, customization) has progressed rapidly, yet current pipelines share a fundamental limitation: the object-centric high-resolution reference image (HRRI) provided by users is downsampled to a fixed low-resolution (LR) before being fed into the model, so the fine-grained details are discarded before the output is even produced. In addition, the generation step then introduces its own artifacts (e.g., identity distortion) on top of this loss. Existing reference-guided generated content refinement (RefGCR) methods can correct some of these artifacts but still operate in the LR domain; reference-guided super-resolution (RefSR) methods recover resolution but assume natural-image degradations and ignore the artifact distribution of generative pipelines. To address both gaps in a single formulation, we introduce a new task: reference-guided generated content super-resolution-refinement (RefGC-SR$^2$), where the original HRRI is reused at the post-processing stage to recover lost details, refine generative artifacts, and upscale the output simultaneously. We construct the first real-world triplet data generation pipeline for this RefGC-SR$^2$ task, training a diptych-conditioned generator to synthesize paired low-quality anchors that public pretrained models cannot provide. We further present a frequency-aware diffusion transformer model for RefGC-SR$^2$ that selectively injects fine details from the HRRI while removing generative artifacts. Extensive experiments demonstrate that our RefGC-SR$^2$ model successfully (i) refines the object identity faithfully with respect to the reference, and (ii) recovers high-resolution details, so that the final result is significantly higher quality and practically more usable compared to existing RefGCR and RefSR baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MOSAIC: 원격 탐사 영상 초해상화를 위한 이미지 유도 프로토타입 조건화 기반 다중 스케일 객체 중심 슬롯 적응
MOSAIC: Multi-Scale Object-Centric Slot Adaptation with Image-Guided Prototype Conditioning for Remote Sensing Image Super-Resolution
사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
C$^{2}$-INR: 맞춤형 합성곱 암시적 신경 표현
C$^{2}$-INR: Customized Convolutional Implicit Neural Representation
암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.
전자현미경 이미징에서 현실감과 충실도의 균형을 위한 주파수 인식 이중 스트림 학습
Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging
전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.
BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산
BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도
Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
The first two authors contributed equally to this work. The last two authors are co-corresponding authors. Please visit our project page at https://cmlab-korea.github.io/RefGC-SR2/