Simple and Efficient Unpaired Real-world Super-Resolution using Image Statistics
원문 초록
Learning super-resolution (SR) network without the paired low resolution (LR) and high resolution (HR) image is difficult because direct supervision through the corresponding HR counterpart is unavailable. Recently, many real-world SR researches take advantage of the unpaired image-to-image translation technique. That is, they used two or more generative adversarial networks (GANs), each of which translates images from one domain to another domain, \eg, translates images from the HR domain to the LR domain. However, it is not easy to stably learn such a translation with GANs using unpaired data. In this study, we present a simple and efficient method of training of real-world SR network. To stably train the network, we use statistics of an image patch, such as means and variances. Our real-world SR framework consists of two GANs, one for translating HR images to LR images (degradation task) and the other for translating LR to HR (SR task). We argue that the unpaired image translation using GANs can be learned efficiently with our proposed data sampling strategy, namely, variance matching. We test our method on the NTIRE 2020 real-world SR dataset. Our method outperforms the current state-of-the-art method in terms of the SSIM metric as well as produces comparable results on the LPIPS metric.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도
Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
FSFVE: 퓨샷 압축 얼굴 비디오 향상
FSFVE: Few Shot Compressed Face Video Enhancement
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
도시 전자기장 지도 예측을 위한 다중 모달 조건 고해상도 트랜스포머
Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF
도시 환경에서 전자기장(EMF) 강도를 예측하는 것은 셀룰러 네트워크 계획에 필수적이지만, 물리 기반 시뮬레이터를 사용하면 계산 비용이 크다. 건물 배치 이미지와 안테나 구성으로부터 500×500 EMF 지도를 생성하는 다중 조건 밀집 예측 프레임워크를 제안한다. 우리 아키텍처는 고해상도 트랜스포머(HRFormer) 백본을 사용하며, 두 가지 상보적 조건화 메커니즘을 갖는다. Feature-wise Linear Modulation(FiLM)은 스칼라 안테나 매개변수를 모든 백본 단계에 주입하고, 크로스 어텐션(cross-attention)은 가장 깊은 단계에서 1차원 방사 패턴 토큰과 공간 특징을 융합한다. 또한 안테나로부터의 거리, 근접성, 방위를 인코딩하는 송신기 상대 공간 채널을 도입하여, 좌표 일관 test-time augmentation(TTA)을 가능하게 하고 이를 통해 테스트 MAE를 6.3% 감소시킨다. EMF 지도 전반에 걸친 예측 난이도 불균형을 해결하기 위해, 마스크 L1, 다중 스케일 구조적 유사성(MS-SSIM), 고신호 픽셀에 가중치를 부여하는 focal L1 항을 결합한 복합 손실을 설계하여 모든 지표에서 개별 손실 구성 요소보다 우수한 성능을 달성한다. 최고 성능 모델은 테스트 MAE 0.0461을 달성하여, 단순 UNet 기준선 대비 25.2%, HRFormer만 사용한 기준선 대비 31.8% 개선을 보인다.
Satellite Image Small Target Application Based on Deep Segmented Residual Neural Network
Multi-Frame Super-Resolution Combining Demons Registration and Regularized Bayesian Reconstruction
Image Super-Resolution Improved by Edge Information
토론
이 논문과 연결된 포럼 글이 아직 없습니다.