arXiv:1807.11389

Multi-bin Trainable Linear Unit for Fast Image Restoration Networks

Shuhang Gu, Radu Timofte, Luc van Gool

제출 2018-07-30

원문 초록

Tremendous advances in image restoration tasks such as denoising and super-resolution have been achieved using neural networks. Such approaches generally employ very deep architectures, large number of parameters, large receptive fields and high nonlinear modeling capacity. In order to obtain efficient and fast image restoration networks one should improve upon the above mentioned requirements. In this paper we propose a novel activation function, the multi-bin trainable linear unit (MTLU), for increasing the nonlinear modeling capacity together with lighter and shallower networks. We validate the proposed fast image restoration networks for image denoising (FDnet) and super-resolution (FSRnet) on standard benchmarks. We achieve large improvements in both memory and runtime over current state-of-the-art for comparable or better PSNR accuracies.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21174v1cs.CV공통 태그 Super-Resolution, Denoising, Image Restoration

교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도

Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution

적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.

arXiv:2607.14894v1eess.IV공통 태그 Super-Resolution, Denoising, Image Restoration

Plug-and-Play 이미지 복원을 위한 불일치 Proximal 디노이저의 도메인 적응

Domain Adaptation of Mismatched Proximal Denoiser for Plug-and-Play Image Reconstruction

플러그 앤 플레이(Plug-and-Play) proximal 경사하강법(PnP-PGD)은 디노이저를 암시적 사전(prior)으로 사용하여 유연한 이미지 복원을 가능하게 한다. 실무에서는 이러한 디노이저가 종종 학습 도메인 밖에서 배포된다. 기존 분석은 배포된 디노이저에 대한 구조적 가정—예를 들어 proximal map이거나 수축(contraction)이어야 한다는 조건—하에서 수렴을 확립한다. 그러나 도메인 불일치가 PnP-PGD의 수렴에 미치는 영향을 측정하지는 않는다. 우리는 이 효과를 proximal mismatch로 정의한다: 배포된 디노이저 $\widehat{\mathsf D}$와 기저 정규화자(regularizer) $R_\star$에 연관된 목표 도메인 참조 map $\mathsf D_\star=\operatorname{prox}_{R_\star}$ 사이의 불일치이다. 이러한 불일치 하에서 각 디노이징 업데이트는 목표 목적함수에 대한 부정확(inexact) proximal 단계가 된다. 우리는 추가로 $\mathcal{O}(1/K)$의 속도로 감쇠하는 정상성(stationarity) bound를 도출하며, 평균 제곱 proximal mismatch에 비례하는 가산항을 포함한다. 이 결과는 MSE 기반 적응만으로는 부족하고 proximal matching을 통한 적응을 동기 부여한다. 우리는 학습된 proximal network와 gradient-step 디노이저라는 두 가지 확립된 디노이저 계열로 이 접근법을 연구한다. 상당한 도메인 이동(domain shift) 하에서 가우시안 디블러링(Gaussian deblurring)과 초해상도(super-resolution)에 대한 실험은 proximal matching 적응이 MSE 기반 적응보다 복원 품질을 유의미하게 향상시키며, 퓨샷(few-shot) 영역에서 가장 큰 수치적 이득을 보인다는 것을 보여준다.

arXiv:2607.15097v1cs.CV공통 태그 Super-Resolution, Image Denoising, Image Restoration

QuReC: 쿼리 특이적 가이던스와 지역-전역 응답 보정을 통한 올인원 이미지 복원

QuReC: All-in-One Image Restoration with Query-Specific Guidance and Local-Global Response Calibration

올인원(all-in-one) 이미지 복원(image restoration)은 단일 통합 모델을 사용하여 여러 종류의 손상으로 훼손된 이미지를 깨끗한 이미지로 복원하는 것을 목표로 한다. 기존 방법들은 일반적으로 다양한 퇴화(degradation)를 처리하기 위해 이미지 수준 프롬프트(image-level prompts)나 공유 가이던스(shared guidance)에 의존한다. 그러나 이러한 패러다임은 퇴화가 공간적으로 이질적이거나 단일 이미지 내에서 혼합된 형태로 공존하는 경우에는 부적절해진다. 한편 공간적으로 적응적인 가이던스만으로는 충분하지 않은데, 정확한 복원을 위해서는 각 공간 쿼리(spatial query)가 지역 이웃(local neighborhoods)과 전역 문맥(global contexts)으로부터 보완적 정보를 신뢰성 있게 집계해야 하기 때문이다. 이를 위해 우리는 올인원 이미지 복원을 위한 통합 프레임워크인 QuReC를 제안한다. QuReC는 퇴화 가이드 쿼리 재구성 모듈(Degradation-Guided Query Reconstruction Module, DQRM)과 지역-전역 응답 보정 모듈(Local-Global Response Calibration Module, LGRCM)로 구성된다. 구체적으로, DQRM은 각 공간 쿼리를 퇴화 프로토타입 공간(degradation prototype space)과 매칭하여 쿼리 특이적 퇴화 인식 표현(query-specific degradation-aware representation)을 재구성함으로써, 세밀한 공간 적응형 복원 가이던스를 제공한다. 이 쿼리 단위 매칭 과정을 더욱 안정화하기 위해, 최적화 안정성과 퇴화 의미 일관성을 향상시키는 약지도 프로토타입 매칭 학습(weakly supervised prototype matching learning) 전략을 도입한다. 한편 LGRCM은 지역-전역 이중 분기 집계(local-global dual-branch aggregation)를 수행하고 학습 가능한 사전(prior)으로 집계된 응답을 보정하여, 특징 집계의 신뢰성과 지역 세부 모델링과 전역 문맥 모델링 간의 조율을 개선한다. 광범위한 실험 결과 QuReC는 여러 올인원 이미지 복원 벤치마크에서 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/zhoushen1/QuReC 에서 공개되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.