Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a Few More Images
원문 초록
Existing reference (RF)-based super-resolution (SR) models try to improve perceptual quality in SR under the assumption of the availability of high-resolution RF images paired with low-resolution (LR) inputs at testing. As the RF images should be similar in terms of content, colors, contrast, etc. to the test image, this hinders the applicability in a real scenario. Other approaches to increase the perceptual quality of images, including perceptual loss and adversarial losses, tend to dramatically decrease fidelity to the ground-truth through significant decreases in PSNR/SSIM. Addressing both issues, we propose a simple yet universal approach to improve the perceptual quality of the HR prediction from a pre-trained SR network on a given LR input by further fine-tuning the SR network on a subset of images from the training dataset with similar patterns of activation as the initial HR prediction, with respect to the filters of a feature extractor. In particular, we show the effects of fine-tuning on these images in terms of the perceptual quality and PSNR/SSIM values. Contrary to perceptually driven approaches, we demonstrate that the fine-tuned network produces a HR prediction with both greater perceptual quality and minimal changes to the PSNR/SSIM with respect to the initial HR prediction. Further, we present novel numerical experiments concerning the filters of SR networks, where we show through filter correlation, that the filters of the fine-tuned network from our method are closer to "ideal" filters, than those of the baseline network or a network fine-tuned on random images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FSFVE: 퓨샷 압축 얼굴 비디오 향상
FSFVE: Few Shot Compressed Face Video Enhancement
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
Satellite Image Small Target Application Based on Deep Segmented Residual Neural Network
Multi-Frame Super-Resolution Combining Demons Registration and Regularized Bayesian Reconstruction
Image Super-Resolution Improved by Edge Information
VarNet: Exploring Variations for Unsupervised Video Prediction
RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭
RFMSR: Residual Flow Matching for Image Super-Resolution
생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.