arXiv:2405.01083

MCMS: Multi-Category Information and Multi-Scale Stripe Attention for Blind Motion Deblurring

Nianzu Qiao, Lamei Di, Changyin Sun

제출 2024-05-02

원문 초록

Deep learning-based motion deblurring techniques have advanced significantly in recent years. This class of techniques, however, does not carefully examine the inherent flaws in blurry images. For instance, low edge and structural information are traits of blurry images. The high-frequency component of blurry images is edge information, and the low-frequency component is structure information. A blind motion deblurring network (MCMS) based on multi-category information and multi-scale stripe attention mechanism is proposed. Given the respective characteristics of the high-frequency and low-frequency components, a three-stage encoder-decoder model is designed. Specifically, the first stage focuses on extracting the features of the high-frequency component, the second stage concentrates on extracting the features of the low-frequency component, and the third stage integrates the extracted low-frequency component features, the extracted high-frequency component features, and the original blurred image in order to recover the final clear image. As a result, the model effectively improves motion deblurring by fusing the edge information of the high-frequency component and the structural information of the low-frequency component. In addition, a grouped feature fusion technique is developed so as to achieve richer, more three-dimensional and comprehensive utilization of various types of features at a deep level. Next, a multi-scale stripe attention mechanism (MSSA) is designed, which effectively combines the anisotropy and multi-scale information of the image, a move that significantly enhances the capability of the deep model in feature representation. Large-scale comparative studies on various datasets show that the strategy in this paper works better than the recently published measures.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2402.01779v4eess.IV공통 태그 Deblurring공식 코드 · Papers with Code

Plug-and-Play 이미지 복원을 위한 확률적 디노이징 정규화(SNORE)

Plug-and-Play image restoration with Stochastic deNOising REgularization

Plug-and-Play(PnP) 알고리즘은 물리적 모델과 정규화(regularization)를 위한 심층 신경망(deep neural network)을 결합하여 이미지 역문제를 해결하는 일종의 반복적 알고리즘입니다. 인상적인 이미지 복원 결과를 보여주지만, 이러한 알고리즘들은 반복(iteration)이 진행됨에 따라 노이즈가 점점 줄어드는 이미지에 디노이저를 적용하는 비표준적인 방식에 의존합니다. 이는 디노이저가 재노이즈된(re-noised) 이미지에만 적용되는 디퓨전 모델(Diffusion Models, DM) 기반의 최신 알고리즘들과 대조적입니다. 우리는 적절한 수준의 노이즈가 있는 이미지에만 디노이저를 적용하는 확률적 디노이징 정규화(Stochastic deNOising REgularization, SNORE)라는 새로운 PnP 프레임워크를 제안합니다. 이 방법은 명시적인 확률적 정규화를 기반으로 하며, 이를 통해 악조건(ill-posed) 역문제를 해결하는 확률적 경사하강법(stochastic gradient descent) 알고리즘을 도출합니다. 이 알고리즘과 그 어닐링(annealing) 확장 버전에 대한 수렴(convergence) 분석을 제공합니다. 실험적으로 SNORE가 블러 제거(deblurring) 및 인페인팅(inpainting) 작업에서 최신 방법들(state-of-the-art methods) 대비 정량적 및 정성적으로 모두 경쟁력이 있음을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.