Image quality assessment for determining efficacy and limitations of Super-Resolution Convolutional Neural Network (SRCNN)
원문 초록
Traditional metrics for evaluating the efficacy of image processing techniques do not lend themselves to understanding the capabilities and limitations of modern image processing methods - particularly those enabled by deep learning. When applying image processing in engineering solutions, a scientist or engineer has a need to justify their design decisions with clear metrics. By applying blind/referenceless image spatial quality (BRISQUE), Structural SIMilarity (SSIM) index scores, and Peak signal-to-noise ratio (PSNR) to images before and after image processing, we can quantify quality improvements in a meaningful way and determine the lowest recoverable image quality for a given method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DiMoSR: Feature Modulation via Multi-Branch Dilated Convolutions for Efficient Image Super-Resolution
VisualQuality-R1: Reasoning-Induced Image Quality Assessment via Reinforcement Learning to Rank
SR-Ground: 초해상도 콘텐츠를 위한 이미지 품질 그라운딩
SR-Ground: Image Quality Grounding for Super-Resolved Content
초해상도(Super-Resolution, SR)는 최근 수년간 빠르게 발전해 왔으며, 확산 기반 모델은 전례 없는 충실도를 달성하는 대신 새로운 유형의 시각적 아티팩트를 도입하는 대가를 치른다. 기존 이미지 품질 평가(Image Quality Assessment, IQA) 방법은 종합적인 품질 점수를 제공하지만, 해석 가능성이 부족하고 현대적 SR 접근법에서 발생하는 서로 다른 아티팩트 유형을 구분하지 못한다. 이 공백을 메우기 위해, 우리는 초해상도 이미지에서의 세분화된 아티팩트 분할을 위해 특별히 설계된 대규모 데이터셋인 SR-Ground를 소개한다. 이 데이터셋은 다양한 최신 SR 모델로 처리된 이미지로 구성되며, 여러 아티팩트 범주에 대한 픽셀 수준 주석이 포함되어 있다. 우리는 자동 생성된 분할을 검증하고 정제하기 위해 1,062명의 참가자가 참여한 대규모 크라우드소싱 연구를 수행하여, 6가지 서로 다른 아티팩트 유형을 아우르는 63,000장의 고품질 데이터셋을 구축하였다. SR-Ground에서 그라운딩 능력을 갖춘 IQA 모델을 학습하면 다운스트림 작업의 성능이 크게 향상됨을 보인다. 나아가, 우리의 그라운딩 모델을 활용하여 SR 출력에서 인지 가능한 아티팩트를 줄이는 미세조정 파이프라인을 도입함으로써 데이터셋의 실용적 유용성을 보여준다. 보지 못한 다섯 가지 SR 방법의 출력 1,000개로 구성된 별도 벤치마크에서, 저해상도 참조 그라운딩 모델은 무참조 대비 두드러짐 정렬(prominence alignment)을 크게 개선하며, 고해상도 정답(Ground-Truth)이 없는 저해상도 이미지의 실제 세계 원본 데이터셋에서 가장 우수한 성능을 보인다.
전참조 및 무참조 영상 품질 평가를 위한 보완적 구조 표현으로서의 지역 SVD-엔트로피 맵
Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment
우리는 2차원 영상 패치에서 직접 계산한 특이값의 섀넌 엔트로피에 기반한, 지각적 영상 품질 평가(IQA)를 위한 지역 스펙트럴 복잡도 표현을 연구한다. 각 $3\times3$ 픽셀 그레이스케일 패치에 대해 SVD를 직접 적용하고, 정규화된 특이값 엔트로피가 HSVD-맵 값 하나를 정의한다. 이 구성은 평탄화(flattening)나 지연 임베딩(delay embedding)을 필요로 하지 않으며, 경계 패딩(boundary padding)을 사용하지 않고, 지역 서술자 수준에서 $90^{\circ}$ 회전 및 거울 반사에 불변이다. Lena에 대한 중첩 salt-and-pepper 실험은 깨끗한 참조 영상에 대한 절대 유사도와 추가 열화 단계에 대한 민감도를 분리한다. HSVD-SSIM은 지역 손상에 더 강하게 반응하며, 심한 노이즈 수준에서 더 큰 이웃 상태(neighboring-state) 응답을 유지한다. 왜곡된 KADID-10k 영상 10,125장 전체에 대한 검증 결과, HSVD-SSIM은 단독 전참조(full-reference) 지표로는 기존 SSIM보다 약하다(SRCC $0.450$ vs. $0.619$), 그러나 결합하면 보완적이다: 그룹 교차 검증(grouped cross-validation)에서 SRCC가 $0.618$에서 $0.659$로 증가하며, 증가분에 대한 부트스트랩 95\% 신뢰구간은 $[0.036,0.046]$이다. 무참조(no-reference) 실험에서 HSVD 기반 단일 영상 서술자를 추가하면 최상의 비선형 모델의 SRCC가 $0.528$에서 $0.575$로 개선되고(95\% CI $[0.033,0.061]$), 이웃 왜곡 상태 간 품질 변화 예측도 개선된다. 이 결과는 직접적인 지역 SVD 엔트로피가 해석 가능한 구조 채널로서 기존 영상 도메인 유사도를 보완하고, 무손상 참조 없이도 유익한 정보를 제공함을 뒷받침한다.
FSFVE: 퓨샷 압축 얼굴 비디오 향상
FSFVE: Few Shot Compressed Face Video Enhancement
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
전역에서 세분화로: 상관 표면을 통한 IQA 모델 성능 규명
From Global to Granular: Revealing IQA Model Performance via Correlation Surface
이미지 품질 평가(IQA) 모델의 평가는 피어슨 선형 상관 계수(PLCC)와 스피어만 순위 상관 계수(SRCC)와 같은 전역 상관 지표가 오랫동안 지배적으로 사용되어 왔다. 이러한 지표들은 널리 채택되고 있지만, 성능을 단일 스칼라 값으로 축약하여 순위 일관성이 지역적 품질 스펙트럼에 따라 어떻게 변화하는지를 포착하지 못한다. 예를 들어, 두 IQA 모델이 동일한 SRCC 값을 달성하더라도, 한 모델은 고품질 이미지(높은 평균 의견 점수(MOS)와 관련)의 순위를 더 신뢰성 있게 매기는 반면, 다른 모델은 작은 품질/MOS 차이를 가지는 이미지 쌍(|ΔMOS|와 관련)을 더 잘 구별할 수 있다. 이러한 상호 보완적인 특성은 전역 지표로는 드러나지 않는다. 더욱이, SRCC와 PLCC는 테스트 샘플의 품질 분포에 민감하여 테스트 세트 간 비교가 불안정해진다. 이러한 한계를 해결하기 위해, 본 논문은 IQA 성능에 대한 구조화된 세밀한 분석을 제공하는 세분화 변조 상관(GMC, Granularity-Modulated Correlation)을 제안한다. GMC는 다음을 포함한다: (1) 절대 MOS 값과 쌍별 MOS 차이(|ΔMOS|)를 조건으로 가우시안 가중 상관을 적용하여 지역적 성능 변화를 조사하는 세분화 조정기(Granularity Modulator), (2) 비균일 품질 분포로 인한 편향을 완화하기 위해 상관을 정규화하는 분포 조정기(Distribution Regulator). 결과로 얻어지는 상관 표면(correlation surface)은 MOS와 |ΔMOS|의 결합 함수로서 상관 값을 매핑하여 IQA 성능의 3D 표현을 제공한다. 표준 벤치마크에서의 실험을 통해 GMC는 스칼라 지표로는 보이지 않는 성능 특성을 드러내며, IQA 모델의 분석, 비교 및 배포를 위한 보다 풍부한 정보와 신뢰성을 갖춘 패러다임을 제공함을 보인다. 코드는 https://github.com/Dniaaa/GMC 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.