SpecUltra: 이종 분광 영상을 위한 통합 파운데이션 모델
SpecUltra: A Unified Foundation Model for Heterogeneous Spectral Images
한국어 초록
초분광 영상(HSI)과 다분광 영상(MSI)을 포함한 분광 영상은 밴드 수, 파장, 분광 해상도에서 상당한 이질성을 보여 통합 모델링과 센서 간 전이를 방해한다. 영상 물리학의 관점에서 이러한 이종 관측은 서로 다른 샘플링 과정을 통해 획득된, 기저의 연속 스펙트럼에 대한 이산 측정으로 볼 수 있다. 이러한 관점에 착안하여 우리는 이종 분광 영상을 위한 통합 파운데이션 모델인 SpecUltra를 제안한다. 구체적으로 SpecUltra는 3D 컨볼루션 토큰화와 파장 인지 3D RoPE를 사용하여 상대적인 파장 및 공간 관계를 인코딩하며, 공유 좌표계 내에서 세밀한 공간-분광 모델링을 가능하게 한다. 또한 대규모 다중 센서 HSI 데이터셋인 MultiHyper-200K를 구축하고, 레벨 토큰이 방사 측정 산출물 유형을 나타내고 레지스터 토큰이 센서 및 획득 조건에 따른 변동을 흡수하는 보조 토큰 지원 마스크 이미지 모델링(MIM)으로 SpecUltra를 사전 학습한다. HSI와 MSI 사이의 분광 세분성 격차를 메우기 위해, 세밀한 HSI 사전 학습 커널 조각으로부터 MSI 임베딩 커널을 구성하여 파라미터 공간에서 사전 학습된 지식을 전달하는 분광 커널 변환(Spectral Kernel Transformation, SKT)을 도입한다. 이 설계는 사전 학습된 분광 사전 지식을 보존하면서 사전 학습된 백본과의 호환성을 유지한다. HSI 및 MSI 분류와 분할 벤치마크 실험에서 서로 다른 센서와 하위 작업 전반에 걸쳐 최첨단 또는 경쟁력 있는 성능을 보인다.
원문 초록
Spectral imagery, including hyperspectral image (HSI) and multispectral image (MSI), exhibits substantial heterogeneity in band numbers, wavelengths, spectral resolutions, hindering unified modeling and cross-sensor transfer. From the perspective of imaging physics, these heterogeneous observations can be regarded as discrete measurements of an underlying continuous spectrum acquired through different sampling processes. Motivated by this perspective, we propose SpecUltra, a unified foundation model for heterogeneous spectral images. Specifically, SpecUltra employs 3D convolutional tokenization and wavelength-aware 3D RoPE to encode relative wavelength and spatial relationships, enabling fine-grained spatial-spectral modeling within a shared coordinate system. We further construct MultiHyper-200K, a large-scale multi-sensor HSI dataset, and pretrain SpecUltra using auxiliary-token-assisted mask image modeling (MIM), where a level token indicates the radiometric product type and register tokens absorb sensor- and acquisition-dependent variations. To bridge the spectral-granularity gap between HSI and MSI, we introduce Spectral Kernel Transformation (SKT), which transfers pretrained knowledge in parameter space by constructing MSI embedding kernels from fine-grained HSI-pretrained kernel slices. This design preserves pretrained spectral priors while maintaining compatibility with the pretrained backbone. Experiments on HSI and MSI classification and segmentation benchmarks demonstrate state-of-the-art or competitive performance across disparate sensors and downstream tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01396v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.