arXiv:2604.11140v2 cs.CV

Hyper-FEOD: 세립화된 MoE 기반의 희소 초그래프 강화 프레임-이벤트 객체 검출

Hyper-FEOD: Sparse Hypergraph-Enhanced Frame-Event Object Detection with Fine-Grained MoE

Wei Bao, Yuehan Wang, Tianhang Zhou, Siqi Li

제출 2026-04-13

한국어 초록

프레임 기반 RGB 카메라와 이벤트 스트림의 통합은 까다로운 동적 조건에서 강건한 객체 검출(object detection)을 수행하기 위한 유망한 패러다임입니다. 그럼에도 불구하고, 복잡한 다중 모달 상호작용을 효과적으로 모델링하고 RGB와 이벤트 데이터 간의 의미론적 이질성을 조화시키는 것은 고정밀도 검출을 위한 만만치 않은 과제로 남아 있습니다. 본 논문에서는 두 가지 핵심 초그래프(hypergraph) 기반 컴포넌트를 통해 교차 모달 표현 학습을 시너지 효과로 강화하는 새로운 고성능 검출 프레임워크인 Hyper-FEOD를 제안합니다. 구체적으로, 먼저 이벤트 활동 단서를 활용하여 움직임에 중요한 희소 토큰을 식별하고 초그래프 모델링을 통해 고차 관계 추론을 수행하는 희소 초그래프 강화 교차 모달 융합(SHCF) 모듈을 설계합니다. 이러한 설계는 모달리티 전반에 걸친 복잡한 고차 의존성과 풍부한 문맥 상관관계를 효과적으로 포착합니다. 둘째로, 서로 다른 시각 영역에서 발생하는 이질적인 의미론적 요구를 처리하도록 맞춤화된 세립화된 전문가 혼합(FG-MoE) 모듈을 개발합니다. 서로 다른 하이퍼에지 연결 패턴을 가진 특화된 초그래프 전문가들을 배치하고 공간 게이팅 메커니즘을 통합함으로써, FG-MoE는 특징을 적응적으로 라우팅하여 대상 영역에서의 정밀한 향상을 가능하게 합니다. 보조 라우터 손실과 결합된 이 제안 프레임워크는 안정적인 엔드투엔드 학습(training)과 최적의 특징 정제를 보장합니다. 널리 채택된 RGB-이벤트 벤치마크에서 수행된 포괄적인 실험은 Hyper-FEOD가 우수한 검출 성능을 제공하며 기존의 최첨단 접근 방식들을 상당한 마진으로 일관되게 능가함을 보여줍니다.

원문 초록

The integration of frame-based RGB cameras with event streams constitutes a promising paradigm for robust object detection under challenging dynamic conditions. Nevertheless, effectively modeling intricate multi-modal interactions and reconciling the semantic heterogeneity between RGB and event data remain formidable challenges for high-precision detection. In this paper, we present Hyper-FEOD, a novel high-performance detection framework that synergistically strengthens cross-modal representation learning through two core hypergraph-driven components. Specifically, we first design a Sparse Hypergraph-enhanced Cross-Modal Fusion (SHCF) module that exploits event activity cues to identify motion-critical sparse tokens and performs high-order relational reasoning through hypergraph modeling. This design effectively captures intricate high-order dependencies and rich contextual correlations across modalities. Second, we develop a Fine-Grained Mixture-of-Experts (FG-MoE) module tailored to handle the heterogeneous semantic demands arising from distinct visual regions. By deploying specialized hypergraph experts with varying hyperedge connectivity pattern and incorporating a spatial gating mechanism, FG-MoE adaptively routes features to enable precise enhancement at target regions. Coupled with an auxiliary router loss, the proposed framework ensures stable end-to-end training and optimal feature refinement. Comprehensive experiments conducted on widely-adopted RGB-Event benchmarks show that Hyper-FEOD delivers superior detection performance and consistently outperforms existing state-of-the-art approaches by a notable margin.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.11140v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.