hytc.edu.cn

이 이메일 도메인이 관측된 논문 1건

arXiv:2605.17286v3cs.CV

HyperVision: 채널 적응형 지상 기반 초분광 비전 사전학습 백본

HyperVision: A Channel-Adaptive Ground-Based Hyperspectral Vision Pre-trained Backbone

초분광 영상(hyperspectral imaging)은 수백 개의 좁은 파장 대역에 걸쳐 풍부한 공간-스펙트럼 정보를 제공하여 정밀한 물질 식별을 가능하게 하지만, 지상 기반 초분광 사전학습 백본은 아직 존재하지 않는다. 이는 센서마다 다른 스펙트럼 구성, 제한적인 어노테이션과 이질적인 레이블링 방식, 그리고 기존 데이터셋의 제한된 규모와 장면 다양성 때문이다. 이러한 문제를 해결하고 범용 인지(universal perception)를 가능하게 하기 위해, 우리는 최초의 지상 기반 초분광 사전학습 백본인 HyperVision을 제안한다. 첫째, 다양한 스펙트럼 구성을 처리하기 위해 HyperVision은 채널 적응형 동적 임베딩 메커니즘을 채택하여 이질적인 입력을 통합된 토큰 공간으로 매핑한다. 둘째, 비지도 표현 학습 프레임워크를 개발한다. 구체적으로, 제한적인 어노테이션과 이질적인 레이블링 방식을 해결하기 위해 SAM2의 공간 구조와 HyperFree의 세밀한 스펙트럼 물질 정보를 융합하는 다중 소스 의사 레이블링(pseudo-labeling) 방법을 도입한다. 나아가 장면 다양성을 풍부하게 하고 제한된 데이터셋 규모를 보완하기 위해, 사전학습된 RGB 비전 모델의 풍부한 의미 표현을 우리의 백본으로 전달하는 교차 모달 지식 증류 메커니즘을 활용한다. 26개의 다양한 지상 기반 데이터셋에서 수집한 1만 5천 장의 이미지로 사전학습된 HyperVision은 뛰어난 일반화 성능을 보인다. 백본 파라미터를 조정하지 않고 효율적인 헤드 전용(head-only) 적응만을 요구함에도, 다양한 센서 구성 하에서 세 가지 다운스트림 태스크 전반에서 최신 태스크 특화 방법들을 능가하며, 초분광 시맨틱 분할의 $\mathrm{Acc}_{\mathrm{M}}$에서 최대 16.3%의 상대적 향상, 객체 추적 AUC에서 2.1%의 상대적 향상, 그리고 돌출 객체 검출(salient object detection) MAE에서 35.5%의 감소를 달성한다. 소스 코드와 사전학습된 모델은 https://github.com/lronkitty/HyperVision 에서 확인할 수 있다.