arXiv:2608.04833v1 cs.CV

RegisterBridgeMM: RGB-적외선 객체 검출을 위한 레지스터 중심 프레임워크

RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection

Zian Wang, Hangchuan Liang, Yuehua Chen, Changchun Li, Chaoyi Guo, Mingzhe Liu, Fangming Gu

제출 2026-08-05

한국어 초록

RGB-적외선(RGB-IR) 객체 검출(object detection)은 상호 보완적인 가시광선 및 열화상 단서의 이점을 활용하지만, 조명 변화, 기상 변화, 복잡한 배경 속에서 효과적인 융합을 달성하는 것은 여전히 어려운 과제입니다. 기존의 RGB-IR 융합 방식들은 종종 표현력이 풍부한 패치 수준의 상호작용을 포기하는 대신 더 가볍지만 제약이 큰 적응 메커니즘을 채택합니다. 본 연구에서는 쌍을 이루는 RGB-IR 입력에서 사전학습된 레지스터 토큰(register token)들이 모달리티 공통 정보와 모달리티 특화 정보를 모두 포함하고 있음을 경험적으로 관찰하였으며, 이는 이들이 모달리티 간 소통을 위한 압축된 기반으로 기능할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 본 논문에서는 3단계 레지스터 수명 주기로 구성된 레지스터 매개 융합 프레임워크인 RegisterBridgeMM을 제안합니다. Aggregate 단계는 사전학습에서 계승된 모달리티별 레지스터 요약을 보존하고, Bridge 단계는 합의-잔차(consensus-residual) 조절을 통해 양방향 레지스터-패치 읽기를 수행하며, Project 단계는 도출된 레지스터 요약을 패치 특징의 공간 적응적 캘리브레이션으로 변환합니다. 이러한 레지스터 경로는 사전학습된 패치 표현을 보존하면서도 밀집된 패치 간 교차 모달 상호작용을 피합니다. 두 백본 스트림을 모두 동결한 상태에서도 RegisterBridgeMM은 평가 대상인 LLVIP, M3FD, DroneVehicle, FLIR-Aligned 네 가지 벤치마크 모두에서 가장 높은 mAP50-95를 달성합니다.

원문 초록

RGB-infrared (RGB-IR) object detection benefits from complementary visible and thermal cues, but effective fusion remains challenging under illumination changes, weather variation, and cluttered scenes. Existing RGB-IR fusion methods often trade expressive patch-level interaction for lighter but more constrained adaptation mechanisms. We empirically observe that pretrained register tokens contain both modality-shared and modality-specific information on paired RGB-IR inputs, suggesting that they can serve as a compact substrate for cross-modal communication. Building on this observation, we propose RegisterBridgeMM, a register-mediated fusion framework organized as a three-stage register lifecycle. Aggregate preserves per-modality register summarization inherited from pretraining; Bridge performs bidirectional register-to-patch reading with consensus-residual regulation; and Project translates the resulting register summary into spatially adaptive calibration of patch features. This register pathway avoids dense patch-to-patch cross-modal interaction while preserving the pretrained patch representation. With both backbone streams frozen, RegisterBridgeMM achieves the highest mAP50-95 among the evaluated methods on all four benchmarks: LLVIP, M3FD, DroneVehicle, and FLIR-Aligned.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04833v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.