arXiv:2610.41204v1 cs.CV

신뢰도에 따른 초점 전환: 강건한 RGB-T 검출을 위한 기하학적 융합 변조

Shifting Focus by Reliability: Geometric Fusion Modulation for Robust RGB-T Detection

Liuyin Shi, Chengqi Li, Wenbo He

제출 2026-11-02

한국어 초록

RGB-열화상(RGB-T) 객체 검출기는 가시광 영상과 열화상을 결합하여 강건한 검출을 수행하지만, 어느 한 스트림의 신호 손상이라도 정확도를 크게 저하시킬 수 있다. 복원 기반 방법은 상당한 지연을 초래하며 하위 정확도를 일관되게 향상시키지도 못하므로, 보다 직접적인 질문이 제기된다. 손상된 입력을 복원하는 대신, 변화하는 신호 품질에 검출기를 효율적으로 적응시킬 수 있는가? 기존 PEFT는 효율적인 경로를 제공하지만 입력에 독립적인 보정으로는 다양한 테스트 시점의 손상을 추적할 수 없다. 통제된 손상 변화 실험에 따르면 손상 유형은 깨끗한 조건 근처에서는 유사한 영향을 미치지만 심각도가 커질수록 점점 갈라지며, 이는 손상 인식형 입력별 적응의 동기가 된다. 이에 우리는 각 모달리티의 추정된 손상 유형과 심각도에 RGB-T 객체 검출기를 적응시키는 PG-FM(Prompt-Guided Feature Modulation)을 제안한다. 통제된 RGB-T 손상 시뮬레이션에서 PG-FM은 깨끗한 데이터셋 성능을 보존하고, FLIR에서 mAP50을 최대 20.8포인트, KAIST에서 최대 19.9포인트 향상시키며, 재학습 없이 수정되지 않은 자연 취득 외부 RGB-T 데이터셋으로 전이된다.

원문 초록

RGB-thermal (RGB-T) object detectors combine visible and thermal imagery for robust detection, but signal corruption in either stream can substantially degrade accuracy. Restoration-based methods incur significant latency and do not consistently improve downstream accuracy, raising a more direct question: rather than restoring corrupted inputs, can we efficiently adapt the detector to their varying signal quality? Conventional PEFT offers an efficient route, but its input-independent corrections cannot track diverse test-time corruptions. Our controlled corruption sweeps show that corruption types have similar effects near clean conditions but diverge increasingly with severity, motivating corruption-aware, per-input adaptation. We therefore propose PG-FM (Prompt-Guided Feature Modulation), which adapts RGB-T object detectors to the estimated corruption type and severity of each modality. Under controlled RGB-T corruption simulations, PG-FM preserves clean-set performance, improves mAP50 by up to 20.8 points on FLIR and 19.9 points on KAIST, and transfers without retraining to unmodified, naturally acquired external RGB-T datasets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.41204v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.