표현 수준의 시간적 집합 및 모델 수준의 하이퍼그래프 추론을 통한 이벤트 기반 객체 검출의 재고
Rethinking Event-Based Object Detection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning
한국어 초록
이벤트 카메라는 마이크로초(microsecond) 수준의 시간 해상도, 낮은 지연 시간, 높은 동적 범위를 제공하여 빠른 움직임과 까다로운 조명 조건에서의 인식 잠재력을 제공합니다. 그러나 기존의 이벤트 기반 객체 검출(EOD) 방법들은 표현 및 모델 수준 모두에서 한계에 직면해 있습니다. 기존 이벤트 표현은 대개 중복된 구조를 통해 시간 정보를 간접적으로 인코딩하는 반면, 검출 모델은 파편화된 이벤트 반응을 일관된 고차 객체 특징으로 명시적으로 집합(aggregate)하는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 표현 수준의 시간적 인코딩과 모델 수준의 시간적-하이퍼그래프 추론을 통합하는 통합 EOD 프레임워크인 Event Dual Temporal-Relational Aggregation Detector(Ev-DTAD)를 제시합니다. 구체적으로, 윈도우 내(intra-window) 및 윈도우 간(inter-window) 이벤트 전반에 걸쳐 시간 정보를 명시적으로 임베딩하는 컴팩트한 3채널 유사 RGB 표현인 Hierarchical Temporal Aggregation(HTA)을 소개합니다. 희소하고 파편화된 이벤트 반응 하에서의 검출을 더욱 향상시키기 위해, 시간적 진화 모델링과 고차 관계 추론을 통해 다중 스케일 이벤트 특징을 정제하는 Frequency-aware Hypergraph Temporal Fusion(FHTF)을 제안합니다. Gen1(+0.8 mAP), 1Mpx/Gen4(+0.5 mAP), eTraM(+3.0 mAP)에 대한 광범위한 실험은 Ev-DTAD가 경쟁력 있는 정확도-효율성 간 절충(trade-off)을 달성함을 입증하며, 컴팩트한 시간적 표현과 시간적-하이퍼그래프 특징 추론 간의 상호보완성을 검증합니다(Fig. \ref{fig:bubble}). 코드는 https://github.com/meisenwang/Ev-DTAD 에서 제공됩니다.
원문 초록
Event cameras provide microsecond-level temporal resolution, low latency, and high dynamic range, offering potential for perception under fast motion and challenging illumination conditions. However, existing Event-based Object Detection (EOD) methods face limitations at both the representation and model levels: prior event representations usually encode temporal information indirectly through redundant structures, while detection models struggle to explicitly aggregate fragmented event responses into coherent high-order object features. To address these limitations, we present \textbf{Event Dual Temporal-Relational Aggregation Detector (Ev-DTAD)}, a unified EOD framework that integrates representation-level temporal encoding with model-level temporal-hypergraph reasoning. Specifically, we introduce \textbf{Hierarchical Temporal Aggregation (HTA)}, a compact three-channel pseudo-RGB representation that explicitly embeds temporal information across intra- and inter-window events. To further enhance detection under sparse and fragmented event responses, we propose \textbf{Frequency-aware Hypergraph Temporal Fusion (FHTF)}, which refines multi-scale event features through temporal evolution modeling and high-order relational reasoning. Extensive experiments on Gen1 (\textbf{+0.8 mAP}), 1Mpx/Gen4 (\textbf{+0.5 mAP}), and eTraM (\textbf{+3.0 mAP}) demonstrate that Ev-DTAD achieves a competitive accuracy--efficiency trade-off, validating the complementarity between compact temporal representation and temporal-hypergraph feature reasoning (Fig.~\ref{fig:bubble}). The code is available at: https://github.com/meisenwang/Ev-DTAD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.08825v5제출 시각 미확인
- arXiv:2605.08825v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.