Deep dual stream residual network with contextual attention for pansharpening of remote sensing images
원문 초록
Pansharpening enhances spatial details of high spectral resolution multispectral images using features of high spatial resolution panchromatic image. There are a number of traditional pansharpening approaches but producing an image exhibiting high spectral and spatial fidelity is still an open problem. Recently, deep learning has been used to produce promising pansharpened images; however, most of these approaches apply similar treatment to both multispectral and panchromatic images by using the same network for feature extraction. In this work, we present present a novel dual attention-based two-stream network. It starts with feature extraction using two separate networks for both images, an encoder with attention mechanism to recalibrate the extracted features. This is followed by fusion of the features forming a compact representation fed into an image reconstruction network to produce a pansharpened image. The experimental results on the Pl\'{e}iades dataset using standard quantitative evaluation metrics and visual inspection demonstrates that the proposed approach performs better than other approaches in terms of pansharpened image quality.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GSPan: 임의 스케일 팬샤프닝을 위한 연속 가우시안 프리미티브 표현
GSPan: A Continuous Gaussian Primitive Representation for Arbitrary-Scale Pansharpening
팬샤프닝은 저해상도 다중 스펙트럼(LRMS) 및 전천위(PAN) 관측치를 융합하여 고해상도 다중 스펙트럼(HRMS) 이미지를 생성하는 것을 목표로 합니다. 대부분의 기존 심층 학습 방법은 팬샤프닝을 고정 격자 예측으로 처리하여 스케일 적응 능력을 제한합니다. 이를 해결하기 위해, 우리는 팬샤프닝에 2D 가우시안 스플래팅(GS)을 도입하는 프레임워크인 GSPan을 제안합니다. GSPan은 픽셀을 직접 예측하는 대신, 밴드별 잔차 세부 정보를 연속적이고 학습 가능한 2D 가우시안 프리미티브로 표현합니다. 우리는 상보적인 PAN 및 MS 관측치로부터 이러한 프리미티브를 추정하기 위해 공간-스펙트럼 상호작용 어텐션(SSIA) 모듈을 갖춘 이중 스트림 계층형 상호작용(DSHI) 아키텍처를 설계했습니다. 예측된 프리미티브는 잔차 세부 정보 필드로 렌더링되어 업샘플링된 MS 이미지에 주입됩니다. 이러한 연속 표현을 통해 GSPan은 스케일별 재학습 없이 임의의 목표 샘플링 격자에서 융합된 이미지를 렌더링할 수 있습니다. 또한, 이는 축소된 해상도에서 프리미티브를 추정하고 목표 해상도에서 융합된 이미지를 렌더링하여 효율적인 대형 장면 팬샤프닝을 수행하는 스케일 분리 비대칭 추론(SDAI) 전략을 가능하게 합니다. QuickBird, GaoFen-2, WorldView-3, WorldView-3-4K 데이터셋에 대한 실험 결과, GSPan이 최첨단 융합 성능을 제공함을 보여줍니다. 더욱이, SDAI는 추론을 현저히 가속하여 계산 효율성과 융합 품질 사이의 유리한 상충 관계를 달성합니다. 우리의 결과는 연속 가우시안 잔차 표현이 고정 격자 예측에 대한 유연하고 스케일 분리된 대안으로서의 잠재력을 입증합니다.
VTBench: 자기회귀 이미지 생성을 위한 시각적 토크나이저 평가
VTBench: Evaluating Visual Tokenizers for Autoregressive Image Generation
최근 자기회귀(AR) 모델은 이미지 생성에서 강력한 성능을 보여주고 있으며, 여기서 핵심적인 구성 요소는 연속적인 픽셀 입력을 이산 토큰(token) 시퀀스로 매핑하는 시각적 토크나이저(VT)입니다. VT의 품질은 AR 모델 성능의 상한선을 크게 좌우합니다. 그러나 현재의 이산 VT는 연속형 변이형 오토인코더(VAE)에 비해 성능이 크게 뒤처져, 이미지 복원 품질이 저하되고 세부 디테일과 텍스트 보존이 제대로 이루어지지 않습니다. 기존 벤치마크들은 VT의 성능만을 분리하여 평가하지 않고 엔드투엔드 생성 품질에만 초점을 맞추고 있습니다. 이러한 공백을 해소하기 위해, 우리는 세 가지 핵심 과제인 이미지 복원, 세부 디테일 보존, 텍스트 보존 전반에 걸쳐 VT를 체계적으로 평가하고 다양한 평가 시나리오를 아우르는 포괄적인 벤치마크인 VTBench를 소개합니다. 우리는 복원된 이미지의 품질을 평가하는 일련의 지표를 사용하여 최신 VT들을 체계적으로 평가합니다. 연구 결과에 따르면, 연속형 VAE는 이산 VT에 비해 특히 공간적 구조와 의미적 세부사항을 유지하는 데 있어 우수한 시각적 표현을 생성하는 것으로 나타났습니다. 반면, 이산 VT가 생성하는 저하된 표현은 종종 왜곡된 복원, 미세한 질감 손실, 텍스트 및 객체 무결성 보존 실패로 이어집니다. 나아가 우리는 GPT-4o 이미지 생성에 대한 실험을 수행하고 잠재적인 AR 특성을 논의함으로써 시각적 토큰화(tokenization)의 역할에 대한 새로운 통찰을 제공합니다. 우리는 추가 연구를 지원하기 위해 벤치마크와 코드베이스를 공개하며, 오픈소스 커뮤니티가 강력한 범용 오픈소스 VT를 개발하도록 촉구합니다.
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-group Quantization
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Cloud-Aware SAR Fusion for Enhanced Optical Sensing in Space Missions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.