arXiv:2605.17286v3 cs.CV

HyperVision: 채널 적응형 지상 기반 초분광 비전 사전학습 백본

HyperVision: A Channel-Adaptive Ground-Based Hyperspectral Vision Pre-trained Backbone

Guanyiman Fu, Jingtao Li, Zihang Cheng, Zhuanfeng Li, Diqi Chen, Yan Xu, Xiangyu Liu, Fengchao Xiong, Jianfeng Lu, Chengrong Chen, Jun Zhou

제출 2026-05-17

한국어 초록

초분광 영상(hyperspectral imaging)은 수백 개의 좁은 파장 대역에 걸쳐 풍부한 공간-스펙트럼 정보를 제공하여 정밀한 물질 식별을 가능하게 하지만, 지상 기반 초분광 사전학습 백본은 아직 존재하지 않는다. 이는 센서마다 다른 스펙트럼 구성, 제한적인 어노테이션과 이질적인 레이블링 방식, 그리고 기존 데이터셋의 제한된 규모와 장면 다양성 때문이다. 이러한 문제를 해결하고 범용 인지(universal perception)를 가능하게 하기 위해, 우리는 최초의 지상 기반 초분광 사전학습 백본인 HyperVision을 제안한다. 첫째, 다양한 스펙트럼 구성을 처리하기 위해 HyperVision은 채널 적응형 동적 임베딩 메커니즘을 채택하여 이질적인 입력을 통합된 토큰 공간으로 매핑한다. 둘째, 비지도 표현 학습 프레임워크를 개발한다. 구체적으로, 제한적인 어노테이션과 이질적인 레이블링 방식을 해결하기 위해 SAM2의 공간 구조와 HyperFree의 세밀한 스펙트럼 물질 정보를 융합하는 다중 소스 의사 레이블링(pseudo-labeling) 방법을 도입한다. 나아가 장면 다양성을 풍부하게 하고 제한된 데이터셋 규모를 보완하기 위해, 사전학습된 RGB 비전 모델의 풍부한 의미 표현을 우리의 백본으로 전달하는 교차 모달 지식 증류 메커니즘을 활용한다. 26개의 다양한 지상 기반 데이터셋에서 수집한 1만 5천 장의 이미지로 사전학습된 HyperVision은 뛰어난 일반화 성능을 보인다. 백본 파라미터를 조정하지 않고 효율적인 헤드 전용(head-only) 적응만을 요구함에도, 다양한 센서 구성 하에서 세 가지 다운스트림 태스크 전반에서 최신 태스크 특화 방법들을 능가하며, 초분광 시맨틱 분할의 $\mathrm{Acc}_{\mathrm{M}}$에서 최대 16.3%의 상대적 향상, 객체 추적 AUC에서 2.1%의 상대적 향상, 그리고 돌출 객체 검출(salient object detection) MAE에서 35.5%의 감소를 달성한다. 소스 코드와 사전학습된 모델은 https://github.com/lronkitty/HyperVision 에서 확인할 수 있다.

원문 초록

While hyperspectral imaging provides rich spatial-spectral information across hundreds of narrow wavelength bands for precise material identification, ground-based hyperspectral pre-trained backbones remain absent, constrained by varying spectral configurations across sensors, limited annotations and heterogeneous labeling schemes, and the limited scale and scene diversity of existing datasets. To address these challenges and enable universal perception, we propose HyperVision, the first ground-based hyperspectral pre-trained backbone. First, to handle varying spectral configurations, HyperVision adopts a channel-adaptive dynamic embedding mechanism to map heterogeneous inputs into a unified token space. Second, we develop an unsupervised representation learning framework. Specifically, to address limited annotations and heterogeneous labeling schemes, a multi-source pseudo-labeling method is introduced to fuse spatial structures from SAM2 and fine-grained spectral material information from HyperFree. Furthermore, to enrich scene diversity and compensate for limited dataset scale, a cross-modal knowledge distillation mechanism is utilized to transfer rich semantic representations from a pre-trained RGB vision model to our backbone. Pre-trained on a collection of 15k images from 26 diverse ground-based datasets, HyperVision demonstrates exceptional generalization. Requiring only efficient head-only adaptation without adjusting backbone parameters, it outperforms state-of-the-art task-specific methods across three downstream tasks under varying sensor configurations, yielding up to a 16.3% relative improvement in hyperspectral semantic segmentation $\mathrm{Acc}_{\mathrm{M}}$, a 2.1% relative gain in object tracking AUC, and a 35.5% reduction in salient object detection MAE. The source code and pre-trained models are available at https://github.com/lronkitty/HyperVision.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.17286v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.