arXiv:2210.04184

Guided Nonlocal Patch Regularization and Efficient Filtering-Based Inversion for Multiband Fusion

Unni V. S., Pravin Nair, Kunal N. Chaudhury

제출 2022-10-09

원문 초록

In multiband fusion, an image with a high spatial and low spectral resolution is combined with an image with a low spatial but high spectral resolution to produce a single multiband image having high spatial and spectral resolutions. This comes up in remote sensing applications such as pansharpening~(MS+PAN), hyperspectral sharpening~(HS+PAN), and HS-MS fusion~(HS+MS). Remote sensing images are textured and have repetitive structures. Motivated by nonlocal patch-based methods for image restoration, we propose a convex regularizer that (i) takes into account long-distance correlations, (ii) penalizes patch variation, which is more effective than pixel variation for capturing texture information, and (iii) uses the higher spatial resolution image as a guide image for weight computation. We come up with an efficient ADMM algorithm for optimizing the regularizer along with a standard least-squares loss function derived from the imaging model. The novelty of our algorithm is that by expressing patch variation as filtering operations and by judiciously splitting the original variables and introducing latent variables, we are able to solve the ADMM subproblems efficiently using FFT-based convolution and soft-thresholding. As far as the reconstruction quality is concerned, our method is shown to outperform state-of-the-art variational and deep learning techniques.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.16733v3cs.LG공통 태그 Image Restoration공식 코드 · Papers with Code

상태 의존적 순방향 확산을 이용한 효율적 이미지 복원

Efficient Image Restoration with State-Dependent Forward Diffusion

본 논문은 상태 의존적 평균 회귀(mean-reverting) 순방향 확산(FoD) 과정을 통해 이미지 복원을 수행하는 방법을 제안한다. 전통적인 확산 기반 접근법이 결합된 순·역방향 확산 체계에 의존하는 것과 달리, FoD는 단일 순방향 확산 과정만으로 이미지 복원을 직접 학습하여 단순하면서도 효율적인 프레임워크를 제공한다. FoD의 핵심은 표류(drift)와 확산(diffusion) 함수 모두에 평균 회귀 항을 포함하는 상태 의존적 확률 미분 방정식(SDE)이다. 이 평균 회귀 구조는 제어된 확률적 변동과 함께 저품질 데이터를 깨끗한 종점으로 이동시키며, 따라서 원본과 목표 분포 사이의 확률적 보간을 시뮬레이션한다. 더 중요한 것은 FoD가 해석적으로 다룰 수 있으며 단순한 확률적 플로우 매칭(stochastic flow matching) 목적함수로 학습되어, 추론 시 소수 스텝 샘플링을 가능하게 한다는 점이다. 제안된 FoD 모델은 단순함에도 불구하고 대표적인 확산, 확산 브릿지(diffusion bridge), 플로우 매칭(flow matching) 접근법과 비교하여 다양한 이미지 복원 과제에서 전반적으로 우수한 성능을 달성한다. 코드는 https://github.com/Algolzw/FoD 에서 이용할 수 있다.

arXiv:2505.19120v2cs.CV공통 태그 Image Restoration공식 코드 · Papers with Code

Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.

arXiv:2504.14582v3cs.CV공통 태그 Image Restoration공식 코드 · Papers with Code

NTIRE 2025 이미지 초해상도(x4) 챌린지: 방법 및 결과

NTIRE 2025 Challenge on Image Super-Resolution (x4): Methods and Results

이 논문은 CVPR 2025에서 개최되는 제10회 NTIRE 워크샵의 연계 경진대회 중 하나인 NTIRE 2025 이미지 초해상도($\times$4) 챌린지를 소개합니다. 이 챌린지의 목표는 $\times$4 배율의 바이큐빅 다운샘플링(bicubic downsampling)을 통해 생성된 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 복원하는 것입니다. 그 목적은 최첨단 SR 성능을 달성하는 효과적인 네트워크 설계 또는 솔루션을 개발하는 데 있습니다. 이미지 SR 연구의 이중적인 목표를 반영하기 위해 본 챌린지는 두 개의 하위 트랙으로 구성됩니다: (1) 픽셀 단위 정확도를 강조하고 PSNR을 기준으로 제출물을 순위 매기는 복원(restoration) 트랙, (2) 시각적 사실감에 초점을 맞추고 지각적 점수(perceptual score)로 결과를 순위 매기는 지각(perceptual) 트랙입니다. 총 286명의 참가자가 경진대회에 등록하였고, 25개 팀이 유효한 결과물을 제출했습니다. 본 보고서는 챌린지 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 방법론을 요약합니다. 이 챌린지는 최첨단 기술을 발전시키고 이미지 초해상도 분야의 진전을 도모하는 벤치마크 역할을 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.