최근 초분광 영상(hyperspectral images) 전용의 여러 파운데이션 모델(foundation model)이 공개되었습니다. 이러한 모델들은 대규모 레이블 미지정 데이터셋으로 학습(training)되어 분류(classification)나 노이즈 제거(denoising)와 같은 다양한 초분광 이미징 태스크에서 강력한 성능을 보입니다. 그럼에도 불구하고 초분광 영상에서 겹쳐진 물질의 혼합 스펙트럼을 분리하는 태스크인 초분광 언믹싱(hyperspectral unmixing)에 대한 파운데이션 모델의 성능은 여전히 충분히 연구되지 않았습니다. 이는 대부분의 모델이 패치 분할(patchification)을 포함하는 비전 트랜스포머(vision transformer) 백본에 의존하여 특징(feature) 해상도 문제를 야기한다는 점에 부분적으로 기인할 수 있습니다. 초분광 언믹싱 자체가 이미 초분광 영상의 낮은 해상도로 인해 발생하는 문제인데, 이러한 패치 분할 단계는 문제를 더욱 부적절한 조건(ill-posed)으로 만들 수 있습니다. 따라서 본 연구에서는 두 가지 질문에 답하고자 합니다. 1) 파운데이션 모델은 초분광 언믹싱에서 어떤 성능을 보이는가? 2) 특징 수준의 해상도 손실(loss)을 어떻게 해결할 것인가? 첫 번째 질문에 답하기 위해, 본 연구에서는 언믹싱을 위한 파운데이션 모델들을 벤치마킹하여 4개의 초분광 언믹싱 데이터셋에서 최고 수준의 성능(SOTA)을 달성할 수 있음을 보여줍니다. 두 번째 질문에 답하기 위해 여러 특징 업샘플링 접근 방식을 비교하고, 단순한 방식을 사용하는 것만으로도 높은 성능을 얻을 수 있음을 실증적으로 보여줍니다. 코드는 https://gitlab.telecom-paris.fr/ring/hfm-hsu.git 에서 확인할 수 있습니다.
원격탐사(RS)에서 하이퍼스펙트럴 데이터 아카이브가 급격히 증가함에 따라 저장 및 전송을 위한 효과적인 압축 방법이 필요해지고 있다. 학습 기반 하이퍼스펙트럴 영상(HSI) 압축 분야의 최근 발전은 복원 충실도와 압축 효율성을 모두 크게 향상시켰다. 그러나 기존 방법들은 일반적으로 자연 영상을 위해 설계된 변분 영상 압축 모델을 그대로 적용할 뿐, HSI에 내재된 독특한 공간-분광 중복성을 충분히 고려하지 않는다. 특히, 이들은 공간적 특징과 분광적 특징 학습의 균형을 맞추기 위한 명시적인 아키텍처 설계가 부족하여, RS에서 하이퍼스펙트럴 데이터의 고유한 특성을 효과적으로 활용하는 능력이 제한된다. 이 문제를 해결하기 위해, 본 논문에서는 RS 분야에서 최초로 공간-분광 특징 학습이 변분 HSI 압축의 율-왜곡(RD) 성능에 미치는 영향을 연구한다. 이를 위해, 변분 HSI 압축 내에서 구성 가능한(configurable) 공간 및 분광 특징 학습 블록을 사용할 것을 제안한다. 이를 달성하기 위해, HSI 압축을 위한 구성 가능한 변분 오토인코더(VAE)인 공간-분광 변분 하이퍼스펙트럴 영상 압축 아키텍처(HyVIC)를 소개한다. 두 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 공간적 특징 학습과 분광적 특징 학습 간의 트레이드오프가 복원 충실도에 결정적임을 입증한다. 이에 착안하여, 제안된 모델의 하이퍼파라미터를 체계적으로 선택하기 위한 메트릭 주도 전략도 제시한다. 구체적으로, HyVIC는 다양한 압축률(CR) 범위에서 높은 공간 및 분광 복원 충실도를 달성하며, BD-PSNR 기준으로 최대 4.66dB까지 최신 기술(state of the art)을 개선한다. 코드와 사전학습된 모델 가중치는 https://git.tu-berlin.de/rsim/hyvic 에서 공개되어 있다.
합성 분광 영상 생성은 원격 탐사 시뮬레이션 및 미션 설계에 필수적이지만, 물리 기반 복사 전달 모델(RTM)은 여전히 계산 비용이 많이 듭니다. 기존의 학습 기반 에뮬레이터는 이러한 비용을 줄여주지만, 대부분 공간적 모델링과 불확실성 정보가 제한적인 결정론적 매개변수(parameter)-스펙트럼 회귀 모델입니다. 본 논문에서는 분광 영상 에뮬레이션을 매개변수 조건부 잠재 변수 문제로 공식화하고, 비선형 분광 영상 표현, 빠른 추론(inference), 픽셀 단위 불확실성 추정을 결합한 변분 오토인코더(VAE) 기반 프레임워크를 제안합니다. 이 프레임워크는 2단계 VAE 사전학습(pre-training) 및 잠재 매핑을 통해 스펙트럼 및 공간-스펙트럼 수준에서 구현됩니다. 제안된 방법을 PROSAIL로 시뮬레이션한 초분광 식생 큐브(211개 밴드)와 실제 Sentinel-3 OLCI 다중분광 해색 영상(21개 밴드)을 대상으로 고전적 회귀 에뮬레이터 및 심층 CNN 기준선(baseline) 모델과 비교 평가합니다. 실험 결과 단일 아키텍처가 항상 최적인 것은 아님이 나타났습니다. 통제된 초분광 시뮬레이션에서는 픽셀 대 픽셀 모델이 가장 우수한 성능을 보인 반면, 결측치나 오염된 픽셀이 포함된 노이즈가 있는 실제 관측에서는 완전 합성곱 VAE가 더 견고했습니다. 또한 VAE 기반 에뮬레이터는 대규모 생성을 위한 높은 처리량을 달성합니다. Sentinel-3 영상에서 공간-스펙트럼 VAE는 절대적 보정(calibration)이 여전히 불완전함에도 불구하고 픽셀 단위 신경망 및 고전적 에뮬레이터보다 경험적 오차에 더 가까운 예측 구간을 제공합니다. 룩업 테이블 기반 회수 실험을 통해 재구성 충실도만으로는 신뢰할 수 있는 엽면적 지수와 엽록소 회수를 보장할 수 없음을 추가로 확인했습니다. 따라서 에뮬레이터는 재구성 지표만으로 평가되어서는 안 되며, 대표적인 원격 탐사 최종 활용 시나리오에서 평가되어야 합니다.
메소픽(mesopic) 및 저조도 디스플레이 변환은 구동 신호로서 픽셀 단위의 암소시-명소시 휘도 비율(scotopic-to-photopic luminance ratio, S/P)을 필요로 한다. 일반적인 RGB 콘텐츠에서는 정확한 분광 S/P를 얻을 수 없으므로, 선형(linear) RGB 삼중값으로부터 S/P를 추정하는 저비용 폐쇄형(closed-form) 수식이 그 대신 사용된다. 이러한 폐쇄형 수식은 존재하지만 지금까지는 협대역(narrowband)/LED 광원, 즉 분광적으로 희소한(spectrally sparse) 스펙트럼에서만 특성화되었으며, 이 경우 3채널 투영에 대해 약 41%의 상대 오차가 보고된 바 있다. 그러나 디스플레이 콘텐츠는 자연스럽고 광대역(broadband)이다. 본 연구에서는 초분광(hyperspectral) 영상으로부터 얻은 픽셀 단위 분광 S/P를 정답값(ground truth)으로 사용하여, 동일한 폐쇄형 수식이 이러한 조건에서도 적절한지를 검토한다.
주간 복사(daylight radiance) 시계열 데이터에서, 6개의 스칼라 값(명소시 채널 가중치 3개와 암소시 채널 가중치 3개)으로 구성된 폐쇄형 수식은 RGB 입력을 D65로 색순응(chromatic adaptation) 처리했을 때 약 0.07의 중앙값 오차로 분광 S/P를 재현하며, 이 오차는 시간에 따라 변하지 않는다. 반면 순응되지 않은(un-adapted) sRGB로 평가할 경우 오차는 광원에 따라 색온도 편향(color-temperature tilt, 약 0.19)을 나타내므로, 색순응이 본 용도에서 핵심적인 단계임을 알 수 있다. 이 결과는 독립적인 50개 장면 데이터셋(dataset)에서도 일반화되며(통합 중앙값 0.024; 50개 장면 중 45개가 사전 등록된 0.10 범위 이내), 소수의 초과 사례는 협대역 영역에 근접한 채도가 높고 분광적으로 뾰족한(spectrally-peaky) 표면(이 데이터셋에서는 꽃 클로즈업)에 집중되어 있다. 암소시 가중치(scotopic weight) 벡터는 원색 모델(primary model)에 의존하는 것으로 나타났지만, 본 연구에서 사용한 값은 원색에 독립적인(primary-free) XYZ 투영에 의해 뒷받침되며, 원칙에 부합하는 모든 계수 선택에서 중앙값 오차는 해당 범위 내에 유지된다.
본 연구는 관찰자 검증을 거친 외관 충실도(appearance fidelity)나 협대역 광원에서의 적절성을 주장하지 않으며, 이 두 가지는 모두 본 연구의 범위를 벗어난다. 이 두 결과는 동일한 3채널 투영에서 비롯된 것으로, 이는 분광적으로 희소한 입력에서는 압도되고 분광적으로 매끄러운(spectrally smooth) 입력에서는 적절하다.
스냅샷 초분광 영상(snapshot hyperspectral imaging)은 순차적 스캐닝을 피할 수 있지만, 안정적인 복원, 저비용, 소형 광학계를 동시에 달성하는 시스템은 여전히 제한적입니다. 본 논문에서는 각도-분광 다양성 변환(angular-to-spectral diversity conversion)에 기반한 스냅샷 초분광 영상 시스템을 제시합니다. 테이퍼형 만화경(tapered kaleidoscope)은 서로 다른 입사 방향을 가진 복제된 뷰를 생성하며, 직접 부착된 복굴절 필터(birefringent filter)가 이를 뷰 채널에 의존적인 분광 투과율로 변환하여 상호보완적인 측정값을 제공함으로써 역문제(inverse problem)의 조건을 개선하고 더욱 안정적인 단일 샷 분광 복원을 가능하게 합니다. 이 시스템은 빠른 비학습 기반 복원을 위해 단순한 픽셀 단위 선형 모델(pixel-wise linear model)을 유지하며, 릴레이 광학계나 직렬 모듈 없이 상용(off-the-shelf) 부품만을 사용합니다. 저자들은 조건수(condition number) 기반 기준을 활용하여 복굴절 필터 구성을 선택하고, 합성 데이터 및 실제 데이터 모두에서 시스템을 검증합니다.
본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.
SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.
우리는 세밀한 초분광 토지 피복 이해를 위한 대규모 벤치마크인 HyperImageNet을 제안한다. 이 데이터셋은 224개의 스펙트럼 밴드를 갖춘 26,084개의 항공 초분광 이미지 패치와 138개의 세밀한 토지 피복 카테고리를 포함한다. 기존 데이터셋과 달리, HyperImageNet은 원본 영상, 픽셀 수준의 의미론적 라벨, 객체 수준의 인스턴스 마스크를 제공하여 의미론적 분할(semantic segmentation)과 인스턴스 분할(instance segmentation)을 모두 지원한다. 또한, 대표적인 방법들과 HyperFree 파운데이션 모델(foundation model)을 평가하기 위해 엄격한 공간 분리를 적용한 개방 환경 벤치마크를 구축한다. 실험 결과는 세밀한 초분광 이해와 개방 환경 원격 탐사 연구를 위한 HyperImageNet의 효과를 보여준다.
초분광 foundation model은 대규모 라벨 없는 데이터로부터 전이 가능한 스펙트럼-공간 표현을 학습한다. 이는 제한된 라벨 샘플을 갖는 downstream 초분광 이미지(HSI) 분류 작업에 적응하는 효과적인 패러다임을 제공한다. 그러나 스펙트럼 밴드 구성은 센서마다 상당히 달라져 직접적인 모델 전이를 어렵게 한다. 기존 적응 전략은 종종 원본 스펙트럼을 압축, 선택, 또는 재형성하여 모델별 입력 요구에 맞춘다. 이러한 연산은 유용한 스펙트럼 정보를 폐기할 수 있으며 국소적 스펙트럼 연속성을 약화시킬 수 있다.
이 문제를 해결하기 위해, 우리는 초분광 이미지 분류를 위한 다분기 효율적 미세조정 프레임워크인 MBTI를 제안한다. MBTI는 전체 밴드 스펙트럼 정보를 보존하면서 초분광 foundation model을 downstream 분류 작업에 적응시킨다. 첫째, 스펙트럼 연속성 보존 다분기 전처리 전략을 도입한다. 원본 HSI를 여러 연속적 스펙트럼 부분집합으로 분할하고, 남은 밴드가 완전한 분기를 형성할 수 없을 때 밴드 재사용 메커니즘을 사용한다. 이는 유효하지 않은 패딩과 불필요한 스펙트럼 손실을 피한다. 둘째, 각 분기에 독립적인 저랭크 적응(LoRA) 모듈을 삽입한다. 이를 통해 대부분의 사전학습 파라미터를 고정한 채 서로 다른 스펙트럼 구간이 작업별 판별 특징을 학습할 수 있다. 셋째, 다분기 채널 어텐션 융합 모듈이 모든 스펙트럼 분기의 특징을 적응적으로 재보정하고 통합한다. 세 개의 공개 초분광 데이터셋에서의 실험은 MBTI가 대표적인 분류 방법들과 비교하여 경쟁력 있고 우수한 성능을 달성함을 보여준다. 최종 rank-8 설정에서 학습 가능한 파라미터는 약 2.33%--2.36%에 불과하다. 코드는 https://github.com/Azhenmiddleblock/MBTI/tree/main에서 제공될 예정이다.
다중스펙트럼 영상(MSI)과 초분광 영상(HSI) 객체 추적은 밴드별 관측 데이터를 활용하여 RGB 외관이 유사하거나, 혼합 픽셀, 조명 변화, 가림(occlusion), 클러터(clutter) 환경에서의 표적-배경 식별 성능을 향상시킨다. 그러나 기존 추적기들은 모든 탐색 영역을 고정된 용량의 스펙트럼-공간 경로로 처리하여, 프레임과 표적 상태에 따라 추적 난이도가 크게 달라진다는 점을 간과하고 있다. 명확한 영역에서는 경량화된 로컬 식별만으로 충분하지만, 경계가 모호하거나 스펙트럼 특성이 유사한 방해 요소가 존재하는 경우에는 더 강력한 문맥적 추론이 요구된다. 이러한 한계를 해결하기 위해, 우리는 MSI 추적을 탐색 영역 수준의 적응형 용량 할당 문제로 정식화하는 스펙트럼-공간 복잡도 인식 추적기 SpecTrack을 제안한다. 핵심 구성 요소인 SAMoE(Spectral Adaptive Mixture-of-Experts) 모듈은 잠재 랭크(latent rank), 수용 필드(receptive field), 깊이가 점진적으로 증가하는 용량 순서의 전문가 풀을 제공한다. 전문가 선택은 Spectral Prompt Router에 의해 이루어지며, 이는 의미적 문맥, 공간 경계 단서, 다중스펙트럼 패치 임베딩 후 계산된 잠재 채널 변화 단서를 융합하여 각 탐색 영역에 대해 SAMoE 전문가의 희소 부분집합을 활성화한다. 병렬적으로, 공유 글로벌 전문가(Shared Global Expert)는 분산된 희소 라우팅 결정을 줄이기 위해 공통 잠재 스펙트럼-공간 문맥을 제공한다. MUST, MSITrack, HOTC20에서 수행한 실험은 정확도-효율성 간 유리한 균형을 보여준다. 정확도 중심의 SpecTrack-L384는 세 벤치마크에서 각각 65.2%, 51.9%, 72.6%의 최첨단 또는 매우 경쟁력 있는 AUC를 달성하며, 균형형 SpecTrack-B224는 MUST에서 43.7 FPS로 62.4% AUC를 기록한다. 추가적인 GOT-10k 평가에서는 SpecTrack-L384가 79.3% AO를 달성하며 RGB 도메인에서의 아키텍처 일반화 가능성을 보여준다.
초분광 위성 영상에서 메탄 플룸을 분할하기 위해, 여러 의미적 스케일에서 물리적으로 유의미한 메탄 단서를 트랜스포머 기반 RGB 표현에 주입하는 특징 유도 메탄 강화(FGME) 메커니즘을 통합한 멀티모달 심층 학습 모델을 제안한다. MPDataset에서 MIoU +0.92, MPrecision +0.87, 재현율 +1.01 향상으로 최신 기술을 능가했으며, 고성능 대안 대비 낮은 계산 비용으로 대규모 메탄 모니터링에 유리한 정확도-효율성 균형을 보였다.
작물의 진딧물 감염을 조기에 탐지하는 것은 수확량 손실을 방지하고 불필요한 살충제 사용을 줄이는 데 필수적이다. 초분광 영상과 스펙트럴 정보 발산(Spectral Information Divergence, SID) 분석을 결합하면 식물 건강을 비파괴적으로 모니터링할 수 있는 방법을 제공한다. 그러나 초분광 데이터에 적용되는 심층 학습 방법은 종종 작은 데이터셋 크기로 제한된다. 본 연구에서는 데이터 효율적인 생성적 적대 신경망(FastGAN)을 사용하여 건강한 샘플과 진딧물 감염 샘플을 포함하는 잠두 잎의 초분광 SID 데이터셋을 증강하였다. 학습된 생성기는 실제 샘플의 구조적·스펙트럴 특성을 보존하는 10,000장의 합성 영상을 생성하였다. 영상 품질은 Fréchet Inception Distance(FID)를 사용하여 평가하였으며, 안정적인 수렴과 잎 형태 및 감염 패턴의 현실적인 재구성을 보여주었다. 증강된 데이터셋을 사용하여 VGG16, ResNet-50, EfficientNet, Vision Transformer(ViT) 네 가지 분류 아키텍처를 학습하였다. 결과는 데이터셋 증강이 분류 견고성을 크게 향상시켰으며, 성능이 고전적 합성곱 네트워크에서 트랜스포머 기반 모델로 점진적으로 증가함을 보여주었다. ViT 모델이 가장 높은 정확도와 F1 점수를 달성했으며, EfficientNet은 강력한 균형 잡힌 성능을 제공했고 ResNet-50은 VGG16 대비 중간 수준의 개선을 보였다. 혼동 행렬 분석은 고급 아키텍처를 사용할 때 거짓 음성(false negative)이 감소하고 질병 탐지가 개선됨을 확인하였다. 이러한 결과는 FastGAN 기반 증강이 초분광 식물 질병 분류를 효과적으로 향상시키며, 트랜스포머 기반 모델이 건강한 잎과 감염된 잎을 가장 신뢰성 있게 구별한다는 것을 보여준다.
이종 센서를 활용하는 다중모드 시맨틱 세그멘테이션은 공간 해상도와 채널 차원이 서로 다른 모달리티 간의 상호 보완적인 정보를 조화시켜야 합니다. 특히, 고해상도 RGB 이미징은 상세한 공간 구조를 제공하지만 시각적으로 유사한 재료를 구별하는 데 종종 실패하는 반면, 하이퍼스펙트랄 이미징(HSI)은 식별력 있는 스펙트럼 특징을 제공하지만 공간 해상도가 낮습니다. 본 논문에서는 국소적이고 양방향인 크로스 어텐션을 통해 고해상도 RGB와 저해상도 HSI를 원본 그리드에서 정렬하여 사전 업샘플링이나 조기 스펙트럼 붕괴를 방지하는 양방향 크로스 어텐션 융합(BCAF)을 제안합니다. BCAF는 RGB용 표준 Swin Transformer와 스펙트럼 셀프 어텐션을 통한 3D 토큰화로 스펙트럼 구조를 보존하는 HSI에 적용된 Swin 백본이라는 두 개의 독립적인 백본을 사용합니다. 평가는 RGB-HSI 융합을 대상으로 수행되었지만, BCAF는 모달리티에 독립적이며 더 낮은 해상도와 높은 채널 수를 가진 보조 센서와 정합된 RGB에도 적용할 수 있습니다. 벤치마크 SpectralWaste 데이터셋에서 BCAF는 초당 55장의 이미지 속도로 75.4%의 성능을 달성하여 강력한 성능을 보여주었습니다. 또한 새로운 산업용 데이터셋인 K3I-Cycling(Fordatis에 첫 번째 RGB 서브셋이 이미 공개됨)을 추가로 평가했습니다. 이 데이터셋에서 BCAF는 재료 세그멘테이션(종이, 금속, 플라스틱 등)에서 62.3% mIoU, 플라스틱 유형 세그멘테이션(PET, PP, HDPE, LDPE, PS 등)에서 66.2% mIoU를 달성했습니다. 이러한 결과는 원본 그리드의 공간적 세부 사항과 스펙트럼 구조를 보존하는 것이 실시간 제약 조건 하에서 다중모드 세그멘테이션을 향상시킴을 보여줍니다. 코드와 모델 체크포인트는 https://github.com/jonasvilhofunk/BCAF_2026에서 공개적으로 제공됩니다.
초분광 이미지(HSI) 작물 분석은 정밀 농업에 필수적이며, 정확한 작물 모니터링과 평가를 위해 풍부한 스펙트럼 및 공간 정보를 포착합니다. 그러나 HSI 분류는 높은 스펙트럼 차원, 공간적 복잡성, 클래스 불균형, 제한된 레이블 샘플로 인해 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해 본 논문은 다중 스케일 합성곱 특징 추출, 스펙트럼 어텐션, 양방향 상태 공간 모델링, 양자 영감 학습을 결합한 BiSpectral Mamba 기반 프레임워크를 제안합니다. 다중 스케일 CNN 백본은 먼저 여러 해상도에 걸친 특징 융합을 통해 계층적 공간-스펙트럼 표현을 추출합니다. 그런 다음 스펙트럼 어텐션 메커니즘은 중복되고 잡음이 있는 채널을 억제하면서 정보성 밴드를 강조합니다. 정제된 특징은 초분광 특징 맵을 순차적 토큰으로 모델링하여 순방향 및 역방향 모두에서 장거리 의존성을 포착하는 BiSpectral Mamba 모듈에서 처리됩니다. 또한, 학습 안정성을 개선하고 클래스 불균형을 완화하기 위해 클래스 가중치 최적화 및 특징 융합 전략이 통합됩니다. UAVHSI-Crop 데이터셋에 대한 실험적 평가는 제안된 프레임워크의 효과를 입증하며, 84.83%의 전체 정확도를 달성했습니다. 결과는 합성곱, 어텐션 기반, 상태 공간 모델링 구성 요소를 통합하면 작물 분류를 위한 강건한 공간-스펙트럼 특징 학습이 가능함을 보여줍니다. 제안된 프레임워크는 작물 질병 탐지, 수확량 예측, 토양 수분 추정을 포함한 광범위한 농업 및 원격 탐사 응용 분야에서 잠재력을 보여주며, 초분광 이미지 분석을 위한 구조화된 상태 공간 및 양자 영감 아키텍처의 효과를 강조합니다.
미분 가능한 선택기 기반의 초분광 밴드 선택 방법은 초기화 및 최종 이산 부분집합 추출에 민감할 수 있으며, 사전에 지정된 밴드 수로 인해 유연성이 제한된다. 본 논문에서는 SGBR-HC(Spectral-Group Band Ranking with Hard-Concrete initialization)를 제안한다. 이는 랭킹을 고정된 선택 규칙으로 처리하는 대신, 지도 기반 스펙트럼 랭킹을 사용하여 학습 가능한 희소 게이트를 초기화하고 선택되는 밴드 수를 학습을 통해 결정하는 2단계 방법이다. 1단계에서는 클래스 판별력 및 스펙트럼 다양성을 기준으로 학습 픽셀로부터 후보 밴드에 점수를 부여하며, 이 랭킹이 2단계의 게이트 로짓을 초기화하는 데 사용된다. 2단계에서는 희소 게이트를 공간 분류기와 함께 공동으로 학습한다. Pavia University 및 Houston 2013 데이터셋에 대한 공간적으로 분리된 평가에서, 선택된 밴드로 새 분류기를 재학습하여 검증한 결과, SGBR-HC는 약 20개의 밴드를 사용하여 가장 높은 평균 전체 정확도(OA)와 Cohen's kappa를 달성하였다. 1단계를 생략할 경우 Pavia University에서 OA가 8.84 퍼센트 포인트, Houston 2013에서 22.15 퍼센트 포인트 하락하여 랭킹 사전 정보의 역할이 확인되었다. 무작위 픽셀 분할은 Pavia University에서 OA를 30.56 퍼센트 포인트 부풀려, 공간적 누출이 평가의 중요한 혼란 요인임을 강조한다.
초분광 3D 이미징은 고밀도 분광 정보와 장면 기하학을 동시에 획득할 수 있지만, 전통적으로 가시광선 범위와 같은 협대역 분광 창에 국한되어 왔다. 본 연구에서는 가시광선-근적외선 전 대역과 단파 적외선(SWIR) 스펙트럼(450-1500 nm)에 걸쳐 이 기능을 확장하는 광대역 초분광 3D 이미징(BH3D) 방법을 제안한다. 이러한 광범위한 커버리지는 상호 보완적인 물리적 단서를 포착하기 때문에 중요하다: 가시광선 파장은 표면 외관을 드러내고, SWIR 대역은 표면 하부 특성과 소재 구성에 대한 통찰을 제공한다. 그러나 BH3D를 실현하는 것은 가시광선 실리콘 센서와 SWIR InGaAs 센서 간의 근본적인 센서 제약으로 인해 복잡한 다중 분광기 설계가 필요하기 때문에 어렵다. 본 연구에서는 가시광선 카메라와 SWIR 카메라로 구성된 스테레오 설정을 사용하는 단일 분광기 BH3D 시스템을 제안하며, 이를 통해 정확한 3D 기하학과 함께 고밀도 광대역 초분광 반사율을 재구성한다. 핵심 아이디어는 단일 분광기를 사용하여 분산 구조광을 광대역 영역으로 확장하는 것이다. 광대역 분산 구조광의 화상 형성을 모델링하고 초분광 반사율과 깊이를 추정한다. 다양한 실제 장면에서 본 접근법을 검증하여, 평균 분광 각도 매퍼 0.13 rad, 평균 제곱근 오차 0.03, 평균 깊이 오차 4.5 mm의 정확한 재구성 성능을 입증한다. 또한 메타머릭 소재 식별, 불투명 층을 통한 이미징, 지폐의 숨겨진 특징 발견, 혈관 시각화 등의 응용도 시연한다.
본 논문은 대략적으로 겹치는 영역을 포함하는, 공간적으로 정합되지 않은 초분광 영상(HSI)과 다분광 영상(MSI) 한 쌍의 융합을 다룬다. HSI는 높은 스펙트럼 해상도와 낮은 공간 해상도를 제공하고, MSI는 그 반대를 제공한다. 목표는 상호 보완적인 정보를 통합하여 HSI의 공간 해상도와 MSI의 스펙트럼 해상도를 모두 향상시키는 것이다. 초분광-다분광 융합(HMF)은 널리 연구되어 왔지만, 비정합 설정은 여전히 어려운 과제로 남아 있다. 기존 방법 중 많은 것은 MSI 초해상화(super-resolution)에만 집중하여 HSI는 변경하지 않은 채로 둔다. HSI 초해상화를 위해 지도 심층 학습 접근법이 제안되었지만, 정확한 학습 데이터에 의존하며 이는 종종 이용할 수 없다. 더욱이 이론적 분석은 대체로 공동 정합(co-registered) 경우에 초점을 맞추어, 비정합 HMF에 대한 이해는 부족하다. 본 연구에서는 MSI와 HSI를 동시에 초해상화하는 비지도 프레임워크를 제안한다. 이 방법은 MSI 초해상화를 위한 결합 스펙트럼 분해(coupled spectral unmixing)와 HSI 초해상화를 위한 잠재 공간(latent-space) 적대적 학습을 통합한다. 합리적인 생성 모델(generative models) 하에서 초해상화된 MSI와 HSI의 복원 가능성(recoverability)에 대한 이론적 보장을 수립하였으며, 이는 우리가 아는 한 비정합 HMF에 대한 최초의 통찰이다. 이 접근법은 다양한 조건에서 준실(semi-real) 및 실(real) HSI-MSI 쌍에 대해 검증되었다.
분광 영상(SI)은 유물 내 물질의 비침습적·공간 분해 특성 분석을 가능하게 하므로 문화유산 과학의 핵심이 되었다. 특히 감쇠전반사(ATR) 마이크로 푸리에 변환 적외선 분광법(ATR-μFTIR)은 그림 단면 분석에 널리 사용되며, 각 픽셀에서 스펙트럼을 기록해 초분광 이미지(HSI)를 형성한다. 이러한 데이터 해석은 어렵다. 스펙트럼은 종종 이질적·다층·열화된 시료에서 여러 물질의 혼합이며, 현재 관행은 여전히 참조 라이브러리와의 수동 비교에 크게 의존한다. 이 워크플로는 느리고 주관적이며 확장하기 어렵다. 우리는 ATR-μFTIR HSI의 블라인드 혼합 분리를 위한 비지도 CNN 오토인코더를 제안하며, 패치 기반 모델링으로 국소 공간 구조를 활용하면서 엔드멤버(endmember) 스펙트럼과 그 풍부도(abundance) 맵을 추정한다. 1500개 이상의 밴드에 걸친 대기 및 측정 아티팩트에 대한 민감도를 줄이기 위해, 공간적 평탄성·이웃 일치·스펙트럼 거칠기의 강건한 측도에서 도출한 자동 밴드 신뢰도 가중치를 갖는 가중 스펙트럼 각 거리(WSAD) 손실을 도입한다. 표준 SAD 학습과 비교하면 WSAD는 오염에 취약한 스펙트럼 영역에서 해석 가능성을 향상시킨다. 반 에이크 형제의 겐트 제단화(Ghent Altarpiece)에서 채취한 ATR-μFTIR 단면에 대해 이 방법을 시연한다.