최근의 Mamba 아키텍처와 같은 심층 상태 공간 모델(SSM)은 CNN 및 Transformer 네트워크의 유망한 대안으로 부상하고 있다. 기존의 Mamba 기반 복원 방법은 이미지 패치를 1차원 시퀀스로 변환한 뒤 스캔하는 평탄화-스캔 전략을 활용하여 시각 데이터를 처리한다. 그러나 이러한 스캔 방식은 국소 픽셀 의존성을 무시하고 멀리 떨어진 픽셀을 잘못 인접하게 배치하여 공간적 불일치를 야기하며, 이는 저수준 비전 작업에서 국소 잡음 인식을 낮추고 이미지 선명도를 저하시킨다. 이러한 문제를 극복하기 위해 슬라이스 내부와 슬라이스 간 스캔을 번갈아 수행하는 새로운 슬라이스-스캔 전략을 제안한다. 또한 이미지 디블러링을 위한 새로운 비전 상태 공간 모듈(VSSM)을 설계하고, 현재 Mamba 기반 비전 모듈의 비효율성 문제를 해결한다. 이를 바탕으로 향상된 이미지 디블러링을 위해 경량 특징 융합 모듈이 통합된 SSM 아키텍처인 XYScanNet을 개발한다. XYScanNet은 경쟁력 있는 왜곡 지표를 유지하면서 지각적 성능을 크게 향상시킨다. 실험 결과, XYScanNet은 가장 근접한 경쟁 모델 대비 KID를 $17\%$ 향상시킨다.
지난 몇 년간 트랜스포머(Transformer) 아키텍처는 자연어 처리(NLP)와 고수준 비전 작업에서 눈에 띄는 성과를 거두었다. 그러나 셀프 어텐션(self-attention)의 본질적 복잡도는 이미지 크기에 대해 이차(quadratic)이므로, 고해상도 비전 작업에서는 감당하기 어려운 계산 비용이 발생한다. 본 논문에서는 이미지 디블러링(image deblurring)을 위해 설계된 새로운 Concerto Self-Attention(CSA) 메커니즘을 갖춘 Concertormer를 제안한다. 제안한 CSA는 셀프 어텐션을 두 가지 구성 요소로 나눈다. 하나는 일반적으로 전역(global) 대응을 강조하고, 다른 하나는 구체적으로 지역(local) 대응에 집중한다. 셀프 어텐션 계산과 독립적인 추가 차원에 부분 정보를 유지함으로써, 본 방법은 이미지 크기에 선형(linear)인 복잡도로 전역 문맥 표현을 효과적으로 포착한다. 추가 차원을 효과적으로 활용하기 위해, 어텐션 맵을 선형 결합하여 표현력을 높이는 Cross-Dimensional Communication 모듈을 제시한다. 또한 제안한 gated-dconv MLP 아키텍처를 사용하여 2단계 트랜스포머 설계를 단일 단계로 통합한다. 1장 이미지 모션 디블러링(single-image motion deblurring)이 주 목표이지만, 광범위한 정량·정성 평가를 통해 제안 방법이 디레이닝(deraining) 및 JPEG 아티팩트가 있는 디블러링 등 다른 작업에서도 최신(state-of-the-art) 방법들과 견줄 만한 성능을 보임을 보여준다. 소스 코드와 학습된 모델은 공개될 예정이다.
단일 이미지 디포커스 디블러링(SIDD)은 단일 디포커스 관측 이미지로부터 초점이 맞춰진(all-in-focus) 이미지를 복원하는 것을 목표로 하지만, 잘 정렬된 디포커스/선명(sharp) 쌍과 표준화된 프로토콜을 갖춘 사실적 고해상도 데이터셋이 부족하여 엄격하고 재현 가능한 평가는 여전히 어렵다. 본 연구는 Bokeh Rendering을 위해 처음 제안된 실세계 RealBokeh 데이터셋에서 파생된 벤치마크인 RealDefocus를 기반으로 한다. RealDefocus는 디포커스 입력과 선명한 ground truth 이미지 쌍, 사전 정의된 학습/검증/테스트 분할, 이미지 복원(image restoration) 및 신경 렌더링(neural rendering) 접근법을 비교하기 위한 통합 평가 프레임워크를 제공한다. 또한 재구성 품질과 일반화(generalization)를 평가하기 위해 교차-데이터셋 검증(cross-dataset validation)을 포함한 벤치마킹 프로토콜을 제시한다. 프로젝트 페이지는 www.github.com/TimSeizinger/RealDefocus-Benchmark에서 공개적으로 이용할 수 있다.
노출 중 카메라가 빠르게 움직이면, 블러는 선명한 장면을 복원하는 데 3D 모델이 필요로 하는 노출 내(intra-exposure) 움직임을 파괴하지만, 이벤트 카메라는 마이크로초(microsecond) 해상도로 바로 이 신호를 포착한다. 이를 신뢰할 수 있는 3D 지도(supervision)로 활용하려면 두 가지 장애물에 직면한다. 첫째, 두 가지 복원 사전(prior)이 상반된 방식으로 실패한다: 물리 기반 이벤트 적분(integration) 사전은 에지를 보존하지만 드리프트(drift)가 누적되고, 학습된 네트워크는 질감(texture)은 복구하지만 경계를 왜곡한다. 둘째, 기존 파이프라인은 한 방향으로만 동작하므로, 원시 이벤트 노이즈나 고정된 2D 의사 레이블(pseudo-label)의 편향(bias)이 보정 없이 기하(geometry)로 전달된다. JADE-GS는 두 문제를 모두 해결한다: 픽셀 적응형 라우팅 게이트(pixel-adaptive routing gate)가 상호 보완적 사전을 융합하고, 그로부터 얻은 2D 복원기(restorer)는 양방향 루프에서 3D Gaussian Splatting 학생(student) 모델과 결합된다. 여기서 분리된(detached) 다중 시점 일관 렌더링(multi-view-consistent renders)과 물리 기반 재블러(reblurring) 제약이 복원기를 정규화(regularize)하여 고정 전처리기(preprocessor)를 기하 인식(geometry-aware) 예측기로 전환한다. 합성 및 실제 벤치마크(benchmark) 전반에서 JADE-GS는 최고의 지각(perceptual) 품질을 달성하여 두 벤치마크 모두에서 LPIPS와 CLIP-IQA를 선도하고 PSNR과 SSIM은 경쟁력 있는 수준을 보이며, 단일 소비자 GPU에서 5GB 미만으로 약 1시간 만에 학습(training)되면서 실시간 렌더링을 유지한다.
모바일 로보틱스에서의 시각적 장소 인식(VPR)은 로봇이 시각 데이터를 활용하여 이전에 방문한 장소를 인식함으로써 자기 위치를 추정할 수 있게 한다. VPR 방법의 신뢰성은 조명, 계절, 날씨, 시점 변화와 같은 조건에서 광범위하게 연구되어 왔으나, 모션 블러의 영향은 빠른 동작 시나리오뿐만 아니라 긴 노출 시간이 필요한 저조도 환경에서도 관련성이 높음에도 불구하고 상대적으로 탐구가 미흡하다. 마찬가지로, 모션 블러 하에서 VPR 성능을 향상시키기 위한 이미지 디블러링의 역할도 지금까지 제한적인 주목을 받아왔다. 본 논문은 모션 블러와 이미지 디블러링의 영향 하에서 VPR 성능을 평가하기 위한 새로운 벤치마크를 도입함으로써 이러한 공백을 메운다. 해당 벤치마크는 광범위한 모션 블러 강도를 아우르는 세 가지 데이터셋을 포함하여 분석을 위한 포괄적인 플랫폼을 제공한다. 여러 기존 VPR 및 이미지 디블러링 방법을 활용한 실험 결과는 모션 블러의 영향과 디블러링을 통해 달성 가능한 잠재적 성능 향상에 대한 새로운 통찰을 제공한다. 이러한 결과를 바탕으로, 본 논문은 동적이고 실제적인 시나리오에서 모션 블러를 효과적으로 처리하도록 설계된 VPR을 위한 적응형 디블러링 전략을 제안한다.
기존 PnP 알고리즘의 비표준적인 디노이저 사용 방식을 개선하여, 적절한 수준의 노이즈가 있는 이미지에만 디노이저를 적용하는 확률적 디노이징 정규화(SNORE) 프레임워크를 제안한다. 이 방법은 명시적 확률적 정규화를 통해 악조건 역문제를 해결하며, 블러 제거 및 인페인팅 작업에서 최신 방법과 대등한 성능을 달성한다.