PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration
원문 초록
Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent IR methods based on Generative Adversarial Networks (GANs) have achieved significant improvement in visual performance, but also presented great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. Then we raise two questions: (1) Can existing IQA methods objectively evaluate recent IR algorithms? (2) When focus on beating current benchmarks, are we getting better IR algorithms? To answer these questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing Algorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based methods, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable "Elo system". Based on PIPAL, we present new benchmarks for both IQA and super-resolution methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we improve the performance of IQA networks on GAN-based distortions by introducing anti-aliasing pooling. Experiments show the effectiveness of the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭
RFMSR: Residual Flow Matching for Image Super-Resolution
생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.
역문제를 위한 확산 기반 최적화기의 원칙적 설계
Principled Design of Diffusion-based Optimizers for Inverse Problems
스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.
NanoVSR: 엣지 디바이스에서의 실시간 비디오 초해상도를 향하여
NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices
최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
RefGC-SR$^2$: 참조 기반 생성형 AI 콘텐츠 초해상화 및 정제
RefGC-SR$^2$: Reference-guided Super-Resolution and Refinement of AI Generated Content
참조 기반 생성(예: 객체 합성, 커스터마이징)은 빠르게 발전해 왔으나, 기존 파이프라인들은 근본적인 한계를 공유합니다. 사용자가 제공한 객체 중심의 고해상도 참조 이미지(HRRI)가 모델에 입력되기 전에 고정된 저해상도(LR)로 다운샘플링되어, 출력이 생성되기도 전에 미세한 세부 정보가 버려진다는 점입니다. 게다가 생성 단계에서는 이러한 정보 손실 위에 고유한 아티팩트(예: 정체성 왜곡)가 추가로 발생합니다. 기존의 참조 기반 생성 콘텐츠 정제(RefGCR) 방식은 이러한 아티팩트 중 일부를 보정할 수 있지만 여전히 저해상도 영역에서 작동하며, 참조 기반 초해상화(RefSR) 방식은 해상도를 복원하지만 자연 이미지 열화를 가정하여 생성 파이프라인의 아티팩트 분포를 무시합니다. 이러한 두 가지 한계를 단일 프레임워크에서 해결하기 위해, 본 논문에서는 원본 HRRI를 후처리 단계에서 재사용하여 손실된 세부 정보를 복원하고, 생성 아티팩트를 정제하며, 출력을 동시에 업스케일링하는 새로운 태스크인 참조 기반 생성 콘텐츠 초해상화-정제(RefGC-SR$^2$)를 제안합니다. 우리는 이 RefGC-SR$^2$ 태스크를 위해 최초의 실제 삼중항(triplet) 데이터 생성 파이프라인을 구축하고, 공개된 사전학습 모델이 제공할 수 없는 쌍을 이루는 저품질 앵커를 합성하도록 딥틱 조건부 생성기를 학습시킵니다. 나아가 생성 아티팩트를 제거하면서 HRRI의 미세 세부 정보를 선택적으로 주입하는 RefGC-SR$^2$용 주파수 인식 확산 트랜스포머(diffusion transformer) 모델을 제시합니다. 광범위한 실험을 통해 제안하는 RefGC-SR$^2$ 모델이 (i) 참조 이미지에 충실하게 객체 정체성을 정제하고, (ii) 고해상도 세부 정보를 성공적으로 복원하여, 기존 RefGCR 및 RefSR 베이스라인과 비교해 최종 결과물이 현저히 높은 품질과 실질적인 활용성을 보임을 입증합니다.
SR-Ground: 초해상도 콘텐츠를 위한 이미지 품질 그라운딩
SR-Ground: Image Quality Grounding for Super-Resolved Content
초해상도(Super-Resolution, SR)는 최근 수년간 빠르게 발전해 왔으며, 확산 기반 모델은 전례 없는 충실도를 달성하는 대신 새로운 유형의 시각적 아티팩트를 도입하는 대가를 치른다. 기존 이미지 품질 평가(Image Quality Assessment, IQA) 방법은 종합적인 품질 점수를 제공하지만, 해석 가능성이 부족하고 현대적 SR 접근법에서 발생하는 서로 다른 아티팩트 유형을 구분하지 못한다. 이 공백을 메우기 위해, 우리는 초해상도 이미지에서의 세분화된 아티팩트 분할을 위해 특별히 설계된 대규모 데이터셋인 SR-Ground를 소개한다. 이 데이터셋은 다양한 최신 SR 모델로 처리된 이미지로 구성되며, 여러 아티팩트 범주에 대한 픽셀 수준 주석이 포함되어 있다. 우리는 자동 생성된 분할을 검증하고 정제하기 위해 1,062명의 참가자가 참여한 대규모 크라우드소싱 연구를 수행하여, 6가지 서로 다른 아티팩트 유형을 아우르는 63,000장의 고품질 데이터셋을 구축하였다. SR-Ground에서 그라운딩 능력을 갖춘 IQA 모델을 학습하면 다운스트림 작업의 성능이 크게 향상됨을 보인다. 나아가, 우리의 그라운딩 모델을 활용하여 SR 출력에서 인지 가능한 아티팩트를 줄이는 미세조정 파이프라인을 도입함으로써 데이터셋의 실용적 유용성을 보여준다. 보지 못한 다섯 가지 SR 방법의 출력 1,000개로 구성된 별도 벤치마크에서, 저해상도 참조 그라운딩 모델은 무참조 대비 두드러짐 정렬(prominence alignment)을 크게 개선하며, 고해상도 정답(Ground-Truth)이 없는 저해상도 이미지의 실제 세계 원본 데이터셋에서 가장 우수한 성능을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.