arXiv:2008.08526

Blur-Attention: A boosting mechanism for non-uniform blurred image restoration

Xiaoguang Li, Feifan Yang, Kin Man Lam, Li Zhuo, Jiafeng Li

제출 2020-08-19

원문 초록

Dynamic scene deblurring is a challenging problem in computer vision. It is difficult to accurately estimate the spatially varying blur kernel by traditional methods. Data-driven-based methods usually employ kernel-free end-to-end mapping schemes, which are apt to overlook the kernel estimation. To address this issue, we propose a blur-attention module to dynamically capture the spatially varying features of non-uniform blurred images. The module consists of a DenseBlock unit and a spatial attention unit with multi-pooling feature fusion, which can effectively extract complex spatially varying blur features. We design a multi-level residual connection structure to connect multiple blur-attention modules to form a blur-attention network. By introducing the blur-attention network into a conditional generation adversarial framework, we propose an end-to-end blind motion deblurring method, namely Blur-Attention-GAN (BAG), for a single image. Our method can adaptively select the weights of the extracted features according to the spatially varying blur features, and dynamically restore the images. Experimental results show that the deblurring capability of our method achieved outstanding objective performance in terms of PSNR, SSIM, and subjective visual quality. Furthermore, by visualizing the features extracted by the blur-attention module, comprehensive discussions are provided on its effectiveness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21078v1cs.CV공통 태그 Image Restoration, Deblurring

디포커스 디블러링을 위한 RealDefocus 벤치마크

The RealDefocus Benchmark for Defocus Deblurring

단일 이미지 디포커스 디블러링(SIDD)은 단일 디포커스 관측 이미지로부터 초점이 맞춰진(all-in-focus) 이미지를 복원하는 것을 목표로 하지만, 잘 정렬된 디포커스/선명(sharp) 쌍과 표준화된 프로토콜을 갖춘 사실적 고해상도 데이터셋이 부족하여 엄격하고 재현 가능한 평가는 여전히 어렵다. 본 연구는 Bokeh Rendering을 위해 처음 제안된 실세계 RealBokeh 데이터셋에서 파생된 벤치마크인 RealDefocus를 기반으로 한다. RealDefocus는 디포커스 입력과 선명한 ground truth 이미지 쌍, 사전 정의된 학습/검증/테스트 분할, 이미지 복원(image restoration) 및 신경 렌더링(neural rendering) 접근법을 비교하기 위한 통합 평가 프레임워크를 제공한다. 또한 재구성 품질과 일반화(generalization)를 평가하기 위해 교차-데이터셋 검증(cross-dataset validation)을 포함한 벤치마킹 프로토콜을 제시한다. 프로젝트 페이지는 www.github.com/TimSeizinger/RealDefocus-Benchmark에서 공개적으로 이용할 수 있다.

arXiv:2607.14990v1cs.CV공통 태그 Image Restoration, Deblurring

JADE-GS: 3D Gaussian Splatting에서 이벤트로 안내된 교대 블러 제거

JADE-GS: Joint Alternating Deblurring Guided by Events in 3D Gaussian Splatting

노출 중 카메라가 빠르게 움직이면, 블러는 선명한 장면을 복원하는 데 3D 모델이 필요로 하는 노출 내(intra-exposure) 움직임을 파괴하지만, 이벤트 카메라는 마이크로초(microsecond) 해상도로 바로 이 신호를 포착한다. 이를 신뢰할 수 있는 3D 지도(supervision)로 활용하려면 두 가지 장애물에 직면한다. 첫째, 두 가지 복원 사전(prior)이 상반된 방식으로 실패한다: 물리 기반 이벤트 적분(integration) 사전은 에지를 보존하지만 드리프트(drift)가 누적되고, 학습된 네트워크는 질감(texture)은 복구하지만 경계를 왜곡한다. 둘째, 기존 파이프라인은 한 방향으로만 동작하므로, 원시 이벤트 노이즈나 고정된 2D 의사 레이블(pseudo-label)의 편향(bias)이 보정 없이 기하(geometry)로 전달된다. JADE-GS는 두 문제를 모두 해결한다: 픽셀 적응형 라우팅 게이트(pixel-adaptive routing gate)가 상호 보완적 사전을 융합하고, 그로부터 얻은 2D 복원기(restorer)는 양방향 루프에서 3D Gaussian Splatting 학생(student) 모델과 결합된다. 여기서 분리된(detached) 다중 시점 일관 렌더링(multi-view-consistent renders)과 물리 기반 재블러(reblurring) 제약이 복원기를 정규화(regularize)하여 고정 전처리기(preprocessor)를 기하 인식(geometry-aware) 예측기로 전환한다. 합성 및 실제 벤치마크(benchmark) 전반에서 JADE-GS는 최고의 지각(perceptual) 품질을 달성하여 두 벤치마크 모두에서 LPIPS와 CLIP-IQA를 선도하고 PSNR과 SSIM은 경쟁력 있는 수준을 보이며, 단일 소비자 GPU에서 5GB 미만으로 약 1시간 만에 학습(training)되면서 실시간 렌더링을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.