arXiv:2609.28283v2 cs.CV

초분광 언믹싱을 위한 초분광 파운데이션 모델 벤치마킹

Benchmarking Hyperspectral Foundation Models for Hyperspectral Unmixing

Edgard Dabier, Christophe Kervazo, Pietro Gori, Florence Tupin

제출 2026-09-24

한국어 초록

최근 초분광 영상(hyperspectral images) 전용의 여러 파운데이션 모델(foundation model)이 공개되었습니다. 이러한 모델들은 대규모 레이블 미지정 데이터셋으로 학습(training)되어 분류(classification)나 노이즈 제거(denoising)와 같은 다양한 초분광 이미징 태스크에서 강력한 성능을 보입니다. 그럼에도 불구하고 초분광 영상에서 겹쳐진 물질의 혼합 스펙트럼을 분리하는 태스크인 초분광 언믹싱(hyperspectral unmixing)에 대한 파운데이션 모델의 성능은 여전히 충분히 연구되지 않았습니다. 이는 대부분의 모델이 패치 분할(patchification)을 포함하는 비전 트랜스포머(vision transformer) 백본에 의존하여 특징(feature) 해상도 문제를 야기한다는 점에 부분적으로 기인할 수 있습니다. 초분광 언믹싱 자체가 이미 초분광 영상의 낮은 해상도로 인해 발생하는 문제인데, 이러한 패치 분할 단계는 문제를 더욱 부적절한 조건(ill-posed)으로 만들 수 있습니다. 따라서 본 연구에서는 두 가지 질문에 답하고자 합니다. 1) 파운데이션 모델은 초분광 언믹싱에서 어떤 성능을 보이는가? 2) 특징 수준의 해상도 손실(loss)을 어떻게 해결할 것인가? 첫 번째 질문에 답하기 위해, 본 연구에서는 언믹싱을 위한 파운데이션 모델들을 벤치마킹하여 4개의 초분광 언믹싱 데이터셋에서 최고 수준의 성능(SOTA)을 달성할 수 있음을 보여줍니다. 두 번째 질문에 답하기 위해 여러 특징 업샘플링 접근 방식을 비교하고, 단순한 방식을 사용하는 것만으로도 높은 성능을 얻을 수 있음을 실증적으로 보여줍니다. 코드는 https://gitlab.telecom-paris.fr/ring/hfm-hsu.git 에서 확인할 수 있습니다.

원문 초록

Several foundation models dedicated to hyperspectral images have recently been made available. These models are trained on large unlabeled datasets and exhibit strong performance on many hyperspectral imaging tasks, such as classification or denoising. Nonetheless, their performance for hyperspectral unmixing -- the task of separating mixed spectra of overlapping materials in a hyperspectral image -- remain understudied. This might partly be due to the fact that most of them rely on vision transformer backbones, including patchification, leading to a feature resolution problem. While hyperspectral unmixing already arises from the low resolution of hyperspectral images, this patchification step potentially makes the problem even more ill-posed. Therefore, in this work, we aim to answer two questions: 1) how do foundation models perform in hyperspectral unmixing?; 2) how to tackle the feature-level loss of resolution? To answer the first question, we benchmark foundation models for unmixing, showing that they can reach state-of-the-art performance on four hyperspectral unmixing datasets. To answer the second question, we compare several feature upsampling approaches and empirically show that using a simple one can lead to high performance results. The code is available at https://gitlab.telecom-paris.fr/ring/hfm-hsu.git.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28283v2
  2. arXiv:2609.28283v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2603.21911v3cs.CV공통 태그 remote sensing, hyperspectral imaging

불확실성을 고려한 분광 영상 에뮬레이션을 위한 변분 잠재 공간 프레임워크

A Variational Latent-Space Framework for Uncertainty-Aware Spectral Image Emulation

합성 분광 영상 생성은 원격 탐사 시뮬레이션 및 미션 설계에 필수적이지만, 물리 기반 복사 전달 모델(RTM)은 여전히 계산 비용이 많이 듭니다. 기존의 학습 기반 에뮬레이터는 이러한 비용을 줄여주지만, 대부분 공간적 모델링과 불확실성 정보가 제한적인 결정론적 매개변수(parameter)-스펙트럼 회귀 모델입니다. 본 논문에서는 분광 영상 에뮬레이션을 매개변수 조건부 잠재 변수 문제로 공식화하고, 비선형 분광 영상 표현, 빠른 추론(inference), 픽셀 단위 불확실성 추정을 결합한 변분 오토인코더(VAE) 기반 프레임워크를 제안합니다. 이 프레임워크는 2단계 VAE 사전학습(pre-training) 및 잠재 매핑을 통해 스펙트럼 및 공간-스펙트럼 수준에서 구현됩니다. 제안된 방법을 PROSAIL로 시뮬레이션한 초분광 식생 큐브(211개 밴드)와 실제 Sentinel-3 OLCI 다중분광 해색 영상(21개 밴드)을 대상으로 고전적 회귀 에뮬레이터 및 심층 CNN 기준선(baseline) 모델과 비교 평가합니다. 실험 결과 단일 아키텍처가 항상 최적인 것은 아님이 나타났습니다. 통제된 초분광 시뮬레이션에서는 픽셀 대 픽셀 모델이 가장 우수한 성능을 보인 반면, 결측치나 오염된 픽셀이 포함된 노이즈가 있는 실제 관측에서는 완전 합성곱 VAE가 더 견고했습니다. 또한 VAE 기반 에뮬레이터는 대규모 생성을 위한 높은 처리량을 달성합니다. Sentinel-3 영상에서 공간-스펙트럼 VAE는 절대적 보정(calibration)이 여전히 불완전함에도 불구하고 픽셀 단위 신경망 및 고전적 에뮬레이터보다 경험적 오차에 더 가까운 예측 구간을 제공합니다. 룩업 테이블 기반 회수 실험을 통해 재구성 충실도만으로는 신뢰할 수 있는 엽면적 지수와 엽록소 회수를 보장할 수 없음을 추가로 확인했습니다. 따라서 에뮬레이터는 재구성 지표만으로 평가되어서는 안 되며, 대표적인 원격 탐사 최종 활용 시나리오에서 평가되어야 합니다.

arXiv:2607.21050v1cs.CV공통 태그 remote sensing, hyperspectral imaging

HyperImageNet: 대규모 고공간 해상도 초분광 영상 분류 벤치마크

HyperImageNet: A Large-Scale High-Spatial Resolution Hyperspectral Imagery Classification Benchmark

우리는 세밀한 초분광 토지 피복 이해를 위한 대규모 벤치마크인 HyperImageNet을 제안한다. 이 데이터셋은 224개의 스펙트럼 밴드를 갖춘 26,084개의 항공 초분광 이미지 패치와 138개의 세밀한 토지 피복 카테고리를 포함한다. 기존 데이터셋과 달리, HyperImageNet은 원본 영상, 픽셀 수준의 의미론적 라벨, 객체 수준의 인스턴스 마스크를 제공하여 의미론적 분할(semantic segmentation)과 인스턴스 분할(instance segmentation)을 모두 지원한다. 또한, 대표적인 방법들과 HyperFree 파운데이션 모델(foundation model)을 평가하기 위해 엄격한 공간 분리를 적용한 개방 환경 벤치마크를 구축한다. 실험 결과는 세밀한 초분광 이해와 개방 환경 원격 탐사 연구를 위한 HyperImageNet의 효과를 보여준다.

arXiv:2606.26416v1cs.CV공통 태그 remote sensing, hyperspectral imaging

멀티모달 심층 학습을 통한 초분광 위성 영상의 메탄 플룸 분할

Methane-Plume Segmentation From Hyperspectral Satellite Imagery Via Multimodal Deep Learning

메탄 플룸의 효율적 탐지는 기후 변화 이해 및 완화에 중요하며, 지구 관측 영상에서 이를 정확히 식별하고 분할하는 것은 대규모 모니터링에 필수적이다. 본 연구에서는 여러 의미적 스케일에서 물리적으로 유의미한 메탄 단서를 트랜스포머 기반 RGB 표현에 주입하는 특징 유도 메탄 강화(feature-guided methane enhancement, FGME) 메커니즘을 통합한 멀티모달 심층 학습 모델을 제안한다. 우리 방법은 MPDataset에서 평가되었으며, MIoU +0.92, MPrecision +0.87, 재현율 +1.01의 향상으로 최신 기술(state-of-the-art)을 능가한다. 특히 이러한 성능 향상은 다른 고성능 아키텍처보다 훨씬 낮은 계산 비용으로 달성되어, 대규모 메탄 모니터링에 유리한 정확도-효율성 트레이드오프를 제공한다. 이러한 결과는 실제 원격 탐사 응용에서 정확하고 확장 가능한 메탄 플룸 분할을 위한 효율적인 멀티모달 융합 전략의 잠재력을 보여준다.

arXiv:2606.17222v1cs.CV공통 태그 remote sensing, hyperspectral imaging

농지 분석을 위한 양자 강화 다중 스케일 CNN 및 양방향 Mamba

Quantum Enchanced Multi-Scale CNN with Bi-directional Mamba for Crop Field Analysis

초분광 이미지(HSI) 작물 분석은 정밀 농업에 필수적이며, 정확한 작물 모니터링과 평가를 위해 풍부한 스펙트럼 및 공간 정보를 포착합니다. 그러나 HSI 분류는 높은 스펙트럼 차원, 공간적 복잡성, 클래스 불균형, 제한된 레이블 샘플로 인해 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해 본 논문은 다중 스케일 합성곱 특징 추출, 스펙트럼 어텐션, 양방향 상태 공간 모델링, 양자 영감 학습을 결합한 BiSpectral Mamba 기반 프레임워크를 제안합니다. 다중 스케일 CNN 백본은 먼저 여러 해상도에 걸친 특징 융합을 통해 계층적 공간-스펙트럼 표현을 추출합니다. 그런 다음 스펙트럼 어텐션 메커니즘은 중복되고 잡음이 있는 채널을 억제하면서 정보성 밴드를 강조합니다. 정제된 특징은 초분광 특징 맵을 순차적 토큰으로 모델링하여 순방향 및 역방향 모두에서 장거리 의존성을 포착하는 BiSpectral Mamba 모듈에서 처리됩니다. 또한, 학습 안정성을 개선하고 클래스 불균형을 완화하기 위해 클래스 가중치 최적화 및 특징 융합 전략이 통합됩니다. UAVHSI-Crop 데이터셋에 대한 실험적 평가는 제안된 프레임워크의 효과를 입증하며, 84.83%의 전체 정확도를 달성했습니다. 결과는 합성곱, 어텐션 기반, 상태 공간 모델링 구성 요소를 통합하면 작물 분류를 위한 강건한 공간-스펙트럼 특징 학습이 가능함을 보여줍니다. 제안된 프레임워크는 작물 질병 탐지, 수확량 예측, 토양 수분 추정을 포함한 광범위한 농업 및 원격 탐사 응용 분야에서 잠재력을 보여주며, 초분광 이미지 분석을 위한 구조화된 상태 공간 및 양자 영감 아키텍처의 효과를 강조합니다.

arXiv:2606.06684v1cs.CV공통 태그 remote sensing, hyperspectral imaging

공간적으로 분리된 평가를 통한 초분광 분류를 위한 적응적 밴드 선택

Adaptive Band Selection for Hyperspectral Classification with Spatially Disjoint Evaluation

미분 가능한 선택기 기반의 초분광 밴드 선택 방법은 초기화 및 최종 이산 부분집합 추출에 민감할 수 있으며, 사전에 지정된 밴드 수로 인해 유연성이 제한된다. 본 논문에서는 SGBR-HC(Spectral-Group Band Ranking with Hard-Concrete initialization)를 제안한다. 이는 랭킹을 고정된 선택 규칙으로 처리하는 대신, 지도 기반 스펙트럼 랭킹을 사용하여 학습 가능한 희소 게이트를 초기화하고 선택되는 밴드 수를 학습을 통해 결정하는 2단계 방법이다. 1단계에서는 클래스 판별력 및 스펙트럼 다양성을 기준으로 학습 픽셀로부터 후보 밴드에 점수를 부여하며, 이 랭킹이 2단계의 게이트 로짓을 초기화하는 데 사용된다. 2단계에서는 희소 게이트를 공간 분류기와 함께 공동으로 학습한다. Pavia University 및 Houston 2013 데이터셋에 대한 공간적으로 분리된 평가에서, 선택된 밴드로 새 분류기를 재학습하여 검증한 결과, SGBR-HC는 약 20개의 밴드를 사용하여 가장 높은 평균 전체 정확도(OA)와 Cohen's kappa를 달성하였다. 1단계를 생략할 경우 Pavia University에서 OA가 8.84 퍼센트 포인트, Houston 2013에서 22.15 퍼센트 포인트 하락하여 랭킹 사전 정보의 역할이 확인되었다. 무작위 픽셀 분할은 Pavia University에서 OA를 30.56 퍼센트 포인트 부풀려, 공간적 누출이 평가의 중요한 혼란 요인임을 강조한다.

arXiv:2412.02575v3cs.CV공통 태그 remote sensing공식 코드 · Papers with Code

원격 탐사 영상을 위한 카피-무브 위조 탐지 및 질의응답

Copy-Move Forgery Detection and Question Answering for Remote Sensing Image

토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.