대칭적 융합을 넘어서: RGB-이벤트 소형 객체 검출을 위한 작업 의존적 모달리티 강점 활용
Beyond Symmetric Fusion: Exploiting Task-Dependent Modality Strengths for RGB-Event Small Object Detection
한국어 초록
최신 RGB-이벤트(RGB-Event) 검출기들은 RGB와 이벤트 데이터의 상호 보완적인 특징을 결합하여 작고 빠르게 움직이는 객체의 검출 성능을 향상시키지만, 일반적으로 위치 추정(localization)과 분류(classification) 모두를 위해 두 모달리티를 단일 표현으로 융합합니다. 이러한 작업 대칭적 설계는 두 모달리티가 각 작업별 강점에 따라 서로 다른 역할을 수행해야 한다는 직관과 일치하지 않습니다. 이 문제를 조사하기 위해 모달리티별 평가를 수행한 결과, 작업에 따라 두 모달리티의 상대적 이점이 역전됨을 발견했습니다. 이벤트 데이터는 클래스 무관 위치 추정에 훨씬 더 효과적인 반면, RGB 데이터는 위치가 특정된 대상 영역 내에서 더 강력한 범주 증거를 제공합니다. 이러한 작업 의존적 비대칭성에 착안하여, 본 논문에서는 비대칭 이벤트-RGB 객체 검출 트랜스포머(AERODet)를 제안합니다. 클래스 무관 위치 추정 단계에서 스케일별 불확실성 인지 신뢰도 추정(SURE)은 객체성 반응 히트맵으로부터 두 모달리티의 상대적 신뢰도를 계산하고, 디코더가 다중 모달 특징을 집계할 때 이에 맞춰 각 기여도를 보정합니다. 후보 박스를 확보한 후에는 작업 분리 의미론적 정제(TDSR)가 위치 추정과 분류를 분리하고 RGB RoI 특징을 활용하여 세밀한 분류를 수행합니다. FRED 및 NeRDD 데이터셋에 대한 광범위한 실험을 통해 AERODet이 최첨단 성능을 달성함을 입증했습니다. 특히, FRED의 고난도 분할에서 가장 강력한 RGB-이벤트 기준선 모델을 mAP 10.7점 차이로 능가합니다.
원문 초록
State-of-the-art RGB-Event detectors improve the detection of small, fast-moving objects by combining complementary features from RGB and Event data, yet they typically fuse the two modalities into a unified representation for both localization and classification. Such a task-symmetric design is inconsistent with the intuition that the two modalities should play different roles according to their task-specific strengths. To examine this issue, we conduct a modality-specific evaluation and find that the relative advantage of the two modalities reverses across tasks: Event data are substantially more effective for class-agnostic localization, whereas RGB data provide stronger category evidence within localized target regions. Motivated by this task-dependent asymmetry, we propose an Asymmetric Event-RGB Object Detection Transformer (AERODet). During class-agnostic localization, Scale-wise Uncertainty-aware Reliability Estimation (SURE) calculates the relative reliability of the two modalities from their objectness response heatmaps and accordingly calibrates their contributions when the decoder aggregates multimodal features. Once the candidate boxes are obtained, Task-Decoupled Semantic Refinement (TDSR) decouples classification from localization and uses RGB RoI features for fine-grained classification. Extensive experiments on FRED and NeRDD demonstrate that AERODet achieves state-of-the-art performance. In particular, it surpasses the strongest RGB-Event baseline by 10.7 mAP points on the FRED challenging split.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01302v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.