arXiv:2611.24316v1 cs.CV

보지 못한 것을 인식하기 위한 융합: 개방형 어휘 의미론적 분할을 위한 클래스 상대적 적외선-가시광 융합

Fuse to Recognize the Unseen: Class-Relative Infrared-Visible Fusion for Open-Vocabulary Semantic Segmentation

Zehao Gao, Jie Feng, Wenda Zhao, Junpeng Zhang, Ronghua Shang, Weisheng Dong

제출 2026-11-19

한국어 초록

가시광-적외선 영상 융합은 상보적인 열 단서를 활용하여, 특히 어려운 조명 조건에서 시각 인지를 향상시킨다. 그러나 이러한 지각적 상보성은 CLIP 기반 모델이 주로 RGB 영상으로 사전학습된 개방형 어휘 의미론적 분할(OVSS)에서는 의미론적 이득으로 쉽게 이어지지 않는다. IR 정보를 그대로 도입하면 오히려 RGB-언어 정렬을 해쳐, 유망한 열 단서를 보지 못한 클래스 인식을 저해하는 의미론적 간섭으로 바꿀 수 있다. 본 연구의 픽셀 수준 RGB-IR 의미 분석은 클래스와 관련된 열 단서가 신뢰할 만한 RGB 예측은 보존하면서 일부 RGB 오분류를 바로잡을 수 있음을 보여 주며, 이는 RGB에 고정된 클래스 상대적 열 단서 선택의 동기가 된다. 이러한 통찰에 기반하여, 상보적 열 증거를 보지 못한 클래스의 의미론적 보정으로 선택적으로 전환하는 OVSS용 적외선-가시광 융합 프레임워크 EmergeFuse를 제안한다. 구체적으로, 클래스 상대적 단서 선택은 RGB 예측에 상대적인 RGB-IR 의미 응답과 보정된 열 증거를 평가하고, 경쟁적 선택을 통해 클래스 상대적 보정 요청을 생성한다. 이어서 텍스트 대비 영상 교정은 선택된 요청을 텍스트 대비를 통해 의미론적 교정 방향으로 변환하고, 증거 게이트 기반 특징 갱신을 이끌어 상보적 열 증거를 보지 못한 클래스 인식에 반영한다. 세 개의 벤치마크 실험에서 기존 융합 방법 대비 보지 못한 클래스 mIoU가 최대 4.755%, 엄격한 상보 전환율이 15.730% 향상되었으며, 경쟁력 있는 융합 품질도 유지하였다.

원문 초록

Visible-infrared image fusion leverages complementary thermal cues to enhance visual perception, particularly under challenging illumination. However, such perceptual complementarity does not readily translate into semantic gains in open-vocabulary semantic segmentation (OVSS), where CLIP-based models are predominantly pretrained on RGB imagery. Directly introducing IR information may instead disrupt RGB-language alignment, turning promising thermal cues into semantic interference that undermines unseen-class recognition. Our pixel-level RGB-IR semantic analysis reveals that class-relevant thermal cues can correct certain RGB misclassifications while preserving reliable RGB predictions, motivating RGB-anchored, class-relative thermal cue selection. Based on this insight, we propose EmergeFuse, an infrared-visible fusion framework for OVSS that selectively converts complementary thermal evidence into unseen-class semantic corrections. Specifically, class-relative cue selection evaluates RGB-IR semantic responses and calibrated thermal evidence relative to RGB predictions, generating class-relative correction requests through competitive selection. Text-contrast image rectification then translates these selected requests into semantic rectification directions through text contrasts, guiding evidence-gated feature updates to realize complementary thermal evidence for unseen-class recognition. Experiments on three benchmarks demonstrate gains of up to 4.755% in unseen-class mIoU and 15.730% in strict complementary conversion rate over existing fusion methods, while maintaining competitive fusion quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24316v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.