DIVA: Deep Unfolded Network from Quantum Interactive Patches for Image Restoration
원문 초록
This paper presents a deep neural network called DIVA unfolding a baseline adaptive denoising algorithm (De-QuIP), relying on the theory of quantum many-body physics. Furthermore, it is shown that with very slight modifications, this network can be enhanced to solve more challenging image restoration tasks such as image deblurring, super-resolution and inpainting. Despite a compact and interpretable (from a physical perspective) architecture, the proposed deep learning network outperforms several recent algorithms from the literature, designed specifically for each task. The key ingredients of the proposed method are on one hand, its ability to handle non-local image structures through the patch-interaction term and the quantum-based Hamiltonian operator, and, on the other hand, its flexibility to adapt the hyperparameters patch-wisely, due to the training process.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Single Stage Adaptive Multi-Attention Network for Image Restoration
Image Restoration via Frequency Selection
교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도
Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
Plug-and-Play 이미지 복원을 위한 불일치 Proximal 디노이저의 도메인 적응
Domain Adaptation of Mismatched Proximal Denoiser for Plug-and-Play Image Reconstruction
플러그 앤 플레이(Plug-and-Play) proximal 경사하강법(PnP-PGD)은 디노이저를 암시적 사전(prior)으로 사용하여 유연한 이미지 복원을 가능하게 한다. 실무에서는 이러한 디노이저가 종종 학습 도메인 밖에서 배포된다. 기존 분석은 배포된 디노이저에 대한 구조적 가정—예를 들어 proximal map이거나 수축(contraction)이어야 한다는 조건—하에서 수렴을 확립한다. 그러나 도메인 불일치가 PnP-PGD의 수렴에 미치는 영향을 측정하지는 않는다. 우리는 이 효과를 proximal mismatch로 정의한다: 배포된 디노이저 $\widehat{\mathsf D}$와 기저 정규화자(regularizer) $R_\star$에 연관된 목표 도메인 참조 map $\mathsf D_\star=\operatorname{prox}_{R_\star}$ 사이의 불일치이다. 이러한 불일치 하에서 각 디노이징 업데이트는 목표 목적함수에 대한 부정확(inexact) proximal 단계가 된다. 우리는 추가로 $\mathcal{O}(1/K)$의 속도로 감쇠하는 정상성(stationarity) bound를 도출하며, 평균 제곱 proximal mismatch에 비례하는 가산항을 포함한다. 이 결과는 MSE 기반 적응만으로는 부족하고 proximal matching을 통한 적응을 동기 부여한다. 우리는 학습된 proximal network와 gradient-step 디노이저라는 두 가지 확립된 디노이저 계열로 이 접근법을 연구한다. 상당한 도메인 이동(domain shift) 하에서 가우시안 디블러링(Gaussian deblurring)과 초해상도(super-resolution)에 대한 실험은 proximal matching 적응이 MSE 기반 적응보다 복원 품질을 유의미하게 향상시키며, 퓨샷(few-shot) 영역에서 가장 큰 수치적 이득을 보인다는 것을 보여준다.
Revitalizing Convolutional Network for Image Restoration
Deep Sparse and Low-Rank Prior for Hyperspectral Image Denoising
토론
이 논문과 연결된 포럼 글이 아직 없습니다.