Fast and High-Quality Blind Multi-Spectral Image Pansharpening
원문 초록
Blind pansharpening addresses the problem of generating a high spatial-resolution multi-spectral (HRMS) image given a low spatial-resolution multi-spectral (LRMS) image with the guidance of its associated spatially misaligned high spatial-resolution panchromatic (PAN) image without parametric side information. In this paper, we propose a fast approach to blind pansharpening and achieve state-of-the-art image reconstruction quality. Typical blind pansharpening algorithms are often computationally intensive since the blur kernel and the target HRMS image are often computed using iterative solvers and in an alternating fashion. To achieve fast blind pansharpening, we decouple the solution of the blur kernel and of the HRMS image. First, we estimate the blur kernel by computing the kernel coefficients with minimum total generalized variation that blur a downsampled version of the PAN image to approximate a linear combination of the LRMS image channels. Then, we estimate each channel of the HRMS image using local Laplacian prior to regularize the relationship between each HRMS channel and the PAN image. Solving the HRMS image is accelerated by both parallelizing across the channels and by fast numerical algorithms for each channel. Due to the fast scheme and the powerful priors we used on the blur kernel coefficients (total generalized variation) and on the cross-channel relationship (local Laplacian prior), numerical experiments demonstrate that our algorithm outperforms state-of-the-art model-based counterparts in terms of both computational time and reconstruction quality of the HRMS images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GSPan: 임의 스케일 팬샤프닝을 위한 연속 가우시안 프리미티브 표현
GSPan: A Continuous Gaussian Primitive Representation for Arbitrary-Scale Pansharpening
팬샤프닝은 저해상도 다중 스펙트럼(LRMS) 및 전천위(PAN) 관측치를 융합하여 고해상도 다중 스펙트럼(HRMS) 이미지를 생성하는 것을 목표로 합니다. 대부분의 기존 심층 학습 방법은 팬샤프닝을 고정 격자 예측으로 처리하여 스케일 적응 능력을 제한합니다. 이를 해결하기 위해, 우리는 팬샤프닝에 2D 가우시안 스플래팅(GS)을 도입하는 프레임워크인 GSPan을 제안합니다. GSPan은 픽셀을 직접 예측하는 대신, 밴드별 잔차 세부 정보를 연속적이고 학습 가능한 2D 가우시안 프리미티브로 표현합니다. 우리는 상보적인 PAN 및 MS 관측치로부터 이러한 프리미티브를 추정하기 위해 공간-스펙트럼 상호작용 어텐션(SSIA) 모듈을 갖춘 이중 스트림 계층형 상호작용(DSHI) 아키텍처를 설계했습니다. 예측된 프리미티브는 잔차 세부 정보 필드로 렌더링되어 업샘플링된 MS 이미지에 주입됩니다. 이러한 연속 표현을 통해 GSPan은 스케일별 재학습 없이 임의의 목표 샘플링 격자에서 융합된 이미지를 렌더링할 수 있습니다. 또한, 이는 축소된 해상도에서 프리미티브를 추정하고 목표 해상도에서 융합된 이미지를 렌더링하여 효율적인 대형 장면 팬샤프닝을 수행하는 스케일 분리 비대칭 추론(SDAI) 전략을 가능하게 합니다. QuickBird, GaoFen-2, WorldView-3, WorldView-3-4K 데이터셋에 대한 실험 결과, GSPan이 최첨단 융합 성능을 제공함을 보여줍니다. 더욱이, SDAI는 추론을 현저히 가속하여 계산 효율성과 융합 품질 사이의 유리한 상충 관계를 달성합니다. 우리의 결과는 연속 가우시안 잔차 표현이 고정 격자 예측에 대한 유연하고 스케일 분리된 대안으로서의 잠재력을 입증합니다.
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-group Quantization
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Cloud-Aware SAR Fusion for Enhanced Optical Sensing in Space Missions
Imaging at the quantum limit with convolutional neural networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.