arXiv:2608.06205v1 cs.CV

CFGPNet: 다중 스펙트럼 객체 검출을 위한 교차 어텐션 기반 융합 그래디언트 프로그래밍 네트워크 프레임워크

CFGPNet: Cross-Attention-Based Fused Gradient Programmed Network Framework for Multispectral Object Detection

Nima Hatami, Karim Faez, Saeed Sharifian, Hamidreza Amindavar

제출 2026-08-06

한국어 초록

RGB-T 객체 검출(object detection)은 가시광선과 적외선 영상의 상호보완적인 장점을 활용하여 저조도, 악천후 및 복잡한 다중 스케일 환경에서 강건한 인식을 지원합니다. 그러나 기존 방법들은 여전히 불충분한 교차 모달 상호작용, 모달리티 분포 차이로 인한 불안정한 융합, 그리고 무거운 어텐션(attention) 기반 아키텍처의 높은 연산 비용으로 인해 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해 다중 스펙트럼 객체 검출을 위한 교차 어텐션 기반 융합 그래디언트 프로그래밍 네트워크 프레임워크인 CFGPNet을 제안합니다. CFGPNet은 연산 효율성을 유지하면서 특징(feature) 표현력을 강화하기 위해 RepViT 스타일의 재파라미터화 블록을 갖춘 개선된 GELAN 백본을 사용합니다. 또한, 교차 모달 특징 상호작용을 향상시키고 가시광선 및 열화상 브랜치 간의 불필요한 정보 전달을 줄이기 위해 CrossCEA(Cross Computation Efficient Attention) 모듈을 도입합니다. 조밀하고 식별력 있는 융합 표현을 생성하기 위해 ASAF(Attention Selection and Aggregation Fusion) 네트워크는 밀집 특징 집약과 선택적 어텐션 기반 강조를 결합합니다. 아울러 그래디언트(gradient) 전달 및 최적화(optimization) 품질을 개선하기 위해 프로그래밍 가능한 그래디언트 보조 브랜치가 각 CFGPNet 변형에 통합됩니다. FLIR, M3FD, LLVIP, VEDAI, MFAD 등 5개의 공개 다중 스펙트럼 벤치마크(benchmark)에 대한 실험을 통해 CFGPNet이 다양한 장면, 객체 스케일 및 모달리티 균형 전반에서 강력하고 일관된 성능을 달성함을 입증합니다. 특히 본 프레임워크는 FLIR에서 80.7% mAP50 / 45.0% mAP50:95, M3FD에서 89.9% / 63.4%, LLVIP에서 97.8% / 68.9%를 달성합니다. 또한 VEDAI에서 83.3% / 56.9%, MFAD에서 83.4% / 61.8%에 도달합니다. 이러한 결과는 CFGPNet이 세 가지 모델(model) 스케일에 걸쳐 유용한 정확도-효율성 트레이드오프를 제공하는 효과적이고 실용적인 솔루션임을 보여줍니다. 코드, 데이터 및 파인튜닝된 모델은 https://github.com/NimaHatami99/CFGPNet 에서 확인할 수 있습니다.

원문 초록

RGB--T object detection exploits the complementary strengths of visible and infrared imagery, supporting robust perception in low-light, adverse-weather, and complex multi-scale environments. However, existing methods still suffer from insufficient cross-modal interaction, unstable fusion from modality distribution gaps, and the high computational cost of heavy attention-based architectures. To address these issues, CFGPNet is proposed, a Cross-Attention-Based Fused Gradient Programmed Network framework for multispectral object detection. CFGPNet uses an improved GELAN backbone with RepViT-style re-parameterized blocks to strengthen feature representation while preserving computational efficiency. A Cross Computation Efficient Attention (CrossCEA) module is introduced to enhance cross-modal feature interaction and reduce redundant information transfer between visible and thermal branches. To generate compact and discriminative fused representations, an Attention Selection and Aggregation Fusion (ASAF) network combines dense feature aggregation with selective attention-based emphasis. Moreover, a programmable-gradient auxiliary branch is integrated into each CFGPNet variant to improve gradient delivery and optimization quality. Experiments on five public multispectral benchmarks, FLIR, M3FD, LLVIP, VEDAI, and MFAD, demonstrate that CFGPNet achieves strong and consistent performance across diverse scenes, object scales, and modality balances. In particular, the framework attains 80.7% mAP50 / 45.0% mAP50:95 on FLIR, 89.9% / 63.4% on M3FD, and 97.8% / 68.9% on LLVIP. It also reaches 83.3% / 56.9% on VEDAI and 83.4% / 61.8% on MFAD. These results show that CFGPNet is an effective, practical solution offering useful accuracy--efficiency trade-offs across three model scales. The code, data, and fine-tuned models are available at https://github.com/NimaHatami99/CFGPNet.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06205v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.