arXiv:2011.15002

Image Quality Assessment for Perceptual Image Restoration: A New Dataset, Benchmark and Metric

Jinjin Gu, Haoming Cai, Haoyu Chen, Xiaoxing Ye, Jimmy Ren, Chao Dong

제출 2020-11-30

원문 초록

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent perceptual IR algorithms based on generative adversarial networks (GANs) have brought in significant improvement on visual performance, but also pose great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. We present two questions: Can existing IQA methods objectively evaluate recent IR algorithms? With the focus on beating current benchmarks, are we getting better IR algorithms? To answer the questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing ALgorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based IR algorithms, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable Elo system. Based on PIPAL, we present new benchmarks for both IQA and SR methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we shed light on how to improve the IQA performance on GAN-based distortion. Inspired by the find that the existing IQA methods have an unsatisfactory performance on the GAN-based distortion partially because of their low tolerance to spatial misalignment, we propose to improve the performance of an IQA network on GAN-based distortion by explicitly considering this misalignment. We propose the Space Warping Difference Network, which includes the novel l_2 pooling layers and Space Warping Difference layers. Experiments demonstrate the effectiveness of the proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2601.02918v3cs.CV공통 태그 Image Restoration, Image Quality Assessment

Zoom-IQA: 신뢰할 수 있는 영역 인식 추론을 통한 이미지 품질 평가

Zoom-IQA: Image Quality Assessment with Reliable Region-Aware Reasoning

이미지 품질 평가(IQA)는 컴퓨터 비전(CV)에서 오랜 과제 중 하나입니다. 기존 방법들은 주로 설명 없이 수치 점수만 예측하거나, 정확한 점수가 결여된 저수준 설명을 제공하는 데 그쳤습니다. 최근 추론 기반 비전-언어 모델(VLM)은 품질 설명과 점수를 함께 생성함으로써 IQA에 강력한 잠재력을 보여주었습니다. 그러나 기존 VLM 기반 IQA 방법들은 시각적 단서와 텍스트 단서를 통합하는 능력이 제한되어 신뢰할 수 없는 추론 문제를 겪는 경우가 많습니다. 본 연구에서는 불확실성 인식, 영역 추론, 반복적 정제라는 핵심 인지 행동을 명시적으로 모방하는 VLM 기반 IQA 모델인 Zoom-IQA를 제안합니다. 구체적으로, 두 단계의 학습 파이프라인을 제시합니다: 1) 모델이 핵심 영역에 평가를 근거(ground)하도록 학습시키기 위해 구축한 Grounded-Rationale-IQA(GR-IQA) 데이터셋에 대한 지도 미세조정(SFT), 그리고 2) 추론 및 점수 다양성 붕괴를 방지하기 위한 KL-Coverage 정규화기와 어노테이션 바이어스 완화를 위한 점진적 재샘플링 전략으로 안정화된, 동적 정책 탐험을 위한 강화학습(RL). 광범위한 실험을 통해 Zoom-IQA가 향상된 강건성, 설명 가능성, 일반화 성능을 달성함을 보입니다. 이미지 복원 등 다운스트림 태스크에 대한 적용은 Zoom-IQA의 효과성을 더욱 입증합니다.

arXiv:2505.16733v3cs.LG공통 태그 Image Restoration공식 코드 · Papers with Code

상태 의존적 순방향 확산을 이용한 효율적 이미지 복원

Efficient Image Restoration with State-Dependent Forward Diffusion

본 논문은 상태 의존적 평균 회귀(mean-reverting) 순방향 확산(FoD) 과정을 통해 이미지 복원을 수행하는 방법을 제안한다. 전통적인 확산 기반 접근법이 결합된 순·역방향 확산 체계에 의존하는 것과 달리, FoD는 단일 순방향 확산 과정만으로 이미지 복원을 직접 학습하여 단순하면서도 효율적인 프레임워크를 제공한다. FoD의 핵심은 표류(drift)와 확산(diffusion) 함수 모두에 평균 회귀 항을 포함하는 상태 의존적 확률 미분 방정식(SDE)이다. 이 평균 회귀 구조는 제어된 확률적 변동과 함께 저품질 데이터를 깨끗한 종점으로 이동시키며, 따라서 원본과 목표 분포 사이의 확률적 보간을 시뮬레이션한다. 더 중요한 것은 FoD가 해석적으로 다룰 수 있으며 단순한 확률적 플로우 매칭(stochastic flow matching) 목적함수로 학습되어, 추론 시 소수 스텝 샘플링을 가능하게 한다는 점이다. 제안된 FoD 모델은 단순함에도 불구하고 대표적인 확산, 확산 브릿지(diffusion bridge), 플로우 매칭(flow matching) 접근법과 비교하여 다양한 이미지 복원 과제에서 전반적으로 우수한 성능을 달성한다. 코드는 https://github.com/Algolzw/FoD 에서 이용할 수 있다.

arXiv:2505.19120v2cs.CV공통 태그 Image Restoration공식 코드 · Papers with Code

Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.