다중 소스 원격 탐사 데이터를 위한 대조적 언어-이미지 사전학습의 잠재력 탐색
Exploring the Potential of Contrastive Language-Image Pre-training for Multi-Source Remote Sensing Data
한국어 초록
대조적 언어-이미지 학습(CLIP)은 원격 탐사 비전-언어 이해의 핵심 패러다임이 되었다. 그러나 기존 원격 탐사 대조 학습 방법은 대부분 RGB 중심 CLIP 아키텍처에 기반하여 SAR, 다중분광 영상(MSI), 초분광 영상(HSI)과 같은 이질적 센서를 활용하기 어렵다. 이 한계를 해결하기 위해, 우리는 원격 탐사 비전-언어 모델링에서 다중 소스 센서 입력을 지원하는 end-to-end 대조 학습 프레임워크 OmniRSCLIP을 제안한다. 핵심 아이디어는 사전학습된 시각 지식을 훼손하지 않으면서 CLIP을 고정 RGB 입력 인터페이스를 넘어 확장하는 것이다. 이를 위해 OmniRSCLIP은 Spectral-Spatial Basis Decomposition(SSBD)을 도입하며, 이는 임의 채널 적응을 기저 재구성 문제로 정식화한다. 사전학습된 CLIP 패치 임베딩은 전이 가능한 공간 기저를 제공하고, 파장 조건 계수는 제약된 시각적 사 prior 공간 내에서 센서별 임베딩 커널을 span한다. 이 설계는 이질적 센서를 고정 채널 입력 공간으로 강제하지 않으면서 통합된 이미지-텍스트 의미 공간에서 이들을 정렬한다. 또한 스펙트럼 맥락 인식 마스크 기반 대조 학습 방식을 도입하여 모달리티별 중복 특징을 억제하고 세밀한 이미지-텍스트 정렬을 강화한다. 마지막으로 다중 모달 학습을 지원하기 위해 RGB, SAR, MSI, HSI를 아우르는 최초의 대규모 원격 탐사 이미지-텍스트 코퍼스 OmniRS5M을 구축한다. 검색, 제로샷 분류, 의미적 localization 실험에서 OmniRSCLIP은 강한 RGB 도메인 성능을 유지하면서 CLIP을 이질적 원격 탐사 모달리티로 효과적으로 확장함을 보여준다.
원문 초록
Contrastive language-image learning (CLIP) has become a key paradigm for remote sensing vision-language understanding. However, existing remote sensing contrastive learning methods are mostly built on RGB-oriented CLIP architectures, making it difficult to exploit heterogeneous sensors such as SAR, multi-spectral imaging (MSI), and hyperspectral imaging (HSI). To address this limitation, we propose OmniRSCLIP, an end-to-end contrastive learning framework that supports multi-source sensor inputs for remote sensing vision-language modeling. The key idea is to extend CLIP beyond its fixed RGB input interface without breaking the pretrained visual knowledge. To this end, OmniRSCLIP introduces Spectral-Spatial Basis Decomposition (SSBD), which formulates arbitrary-channel adaptation as a basis recomposition problem: pretrained CLIP patch embeddings provide transferable spatial bases, while wavelength-conditioned coefficients span sensor-specific embedding kernels within a constrained visual prior space. This design avoids forcing heterogeneous sensors into a fixed-channel input space, while aligning them in a unified image-text semantic space. We further introduce a spectral-context-aware mask-based contrastive learning scheme to suppress modality-specific redundant features and enhance fine-grained image-text alignment. Finally, to support multi-modal training, we construct OmniRS5M, the first large-scale remote sensing image-text corpus covering RGB, SAR, MSI, and HSI. Experiments on retrieval, zero-shot classification, and semantic localization show that OmniRSCLIP preserves strong RGB-domain performance while effectively extending CLIP to heterogeneous remote sensing modalities.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03391v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.