초분광 영상과 라이다 분류를 위한 신뢰도 기반 특징 교정
Reliability-Driven Feature Correction for Hyperspectral and LiDAR Classification
한국어 초록
초분광 영상(HSI)과 라이다 데이터는 토지 피복 분류에 필요한 분광 정보와 고도 정보를 상호 보완적으로 제공한다. 그러나 모달리티별 특징이 클래스를 구별하는 데 얼마나 신뢰할 만한지는 공간 위치마다 다르며, 이를 명시적으로 모델링하는 경우는 드물다. 그 결과 약하거나 모호한 특징이 모달리티 간 상호작용과 융합에 악영향을 줄 수 있다. 각 위치에서 모달리티별 특징이 제공하는 클래스 관련 근거의 강도로 신뢰도를 정량화하고, 이를 특징 교정과 융합에 활용하는 ReDF를 제안한다. 신뢰도 기반 특징 교정 모듈은 모달리티별 클래스 프로토타입 저장소를 두고, 특징과 프로토타입의 유사도를 클래스 근거로 바꿔 신뢰도를 추정한다. 추정 신뢰도를 가중치로 써 공유 표현을 만들고, 이웃 영역 간 일치도를 바탕으로 양방향 모달리티 특징 교정을 유도한다. 클래스 근거가 약한 모달리티의 특징은 다른 모달리티의 정보로 정제한다. 이어 신뢰도 기반 특징 재가중 모듈은 추정 신뢰도와 모달리티 간 불일치를 조건으로 저랭크 변조를 계산한다. 교정된 모달리티별 표현에 이 변조를 적용해 최종 분류용 융합 표현에 대한 각 모달리티의 기여도를 적응적으로 조정한다. 공개 HSI–라이다 데이터셋 세 개에서 제안 방식은 비교 방법보다 평균 전체 정확도와 카파 계수가 높았다.
원문 초록
Hyperspectral image (HSI) and LiDAR data provide complementary spectral and elevation information for land-cover classification. However, the spatially varying class-discriminative reliability of modality features is rarely modeled explicitly, allowing weak or ambiguous features to adversely affect cross-modal interaction and fusion. To address this issue, we propose ReDF, a reliability-driven framework that quantifies the reliability of each modality's features at each spatial location through the strength of class-related evidence they provide, and uses it to guide feature correction and fusion. Specifically, a Reliability-Guided Feature Correction module introduces a class prototype bank for each modality and converts feature-prototype similarities into class evidence for reliability estimation. The estimated reliabilities are used to construct a reliability-weighted shared representation and to guide bidirectional cross-modal feature correction based on neighborhood agreement, refining modality features with weak class evidence through information from the other modality. Building on these outputs, a Reliability-Guided Feature Reweighting module conditions a low-rank modulation on the estimated reliabilities and the cross-modal disagreement, and applies it to the corrected modality-specific descriptors to adaptively rescale each modality's contribution to the fused representation used for final classification. Experiments on three public HSI-LiDAR datasets show higher mean overall accuracy and Kappa than the compared methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22508v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.