arXiv:2607.26703v1 cs.CV

Sequence-SOD: 이벤트 카메라를 위한 생체 모사 기반 시퀀스 인지 스파이킹 객체 탐지

Sequence-SOD: Bio-inspired Sequence-aware Spiking ObjectDetection for Event Cameras

Katharina Bendig, René Schuster, Didier Stricker

제출 2026-07-29

한국어 초록

이벤트 카메라는 망막에서 영감을 얻은 센싱 원리를 따라 높은 시간 해상도와 넓은 동적 범위를 바탕으로 국소적 조도 변화를 비동기적으로 보고합니다. 스파이킹 신경망(SNN)은 희소 스파이크와 누설 막 전위를 활용해 시간에 따른 정보를 통합하는 뇌 기반 역학을 통해 이러한 희소 이벤트 스트림을 보완합니다. 그러나 기존의 많은 SNN 객체 탐지기는 단일 라벨을 가진 고립된 이벤트 구간을 처리하고 매 예측 후 네트워크 상태를 초기화하므로, 연속적인 이벤트 스트림의 시간적 정보를 충분히 활용하지 못합니다. 본 논문에서는 여러 시점의 라벨을 포함하는 확장된 이벤트 시퀀스를 처리하는 시퀀스 인지 SNN 객체 탐지기인 Sequence-SOD를 제안합니다. 이벤트는 짧은 구간으로 축적되고 시간 단계로 이산화된 후, 시퀀스 내 구간 전반에 걸쳐 막 전위를 보존하면서 SSD 스타일의 Spiking DenseNet에 순차적으로 공급됩니다. 이를 통해 탐지는 독립적으로 초기화되는 입력 윈도우 대신 진화하는 신경 상태에 의해 구동됩니다. Gen1 Automotive Detection Dataset에서 시퀀스 인지 학습(training)은 mAP를 단일 구간 학습 시 23.38에서 증강이 없을 때 25.30으로, 이벤트 데이터 증강(data augmentation)을 적용했을 때 26.88로 향상시킵니다. 이 모델(model)은 이론적으로 40 Hz의 예측 빈도를 달성합니다. 확장된 이벤트 시퀀스에서 SNN 객체 탐지기를 학습 및 평가하면 희소 스파이킹 연산의 에너지 효율성 이점을 유지하면서 시간적 단서를 활용하는 능력을 향상시킬 수 있습니다. 본 결과는 시퀀스 인지 학습이 이벤트 기반 SNN 탐지를 위한 구조적 개선을 상호 보완하는 방향임을 강조합니다.

원문 초록

Event cameras follow a retina-inspired sensing principle, reporting local intensity changes asynchronously with hightemporal resolution and a wide dynamic range. Spiking Neural Networks (SNNs) complement these sparse event streams through brain-inspired dynamics, using sparse spikes and leaky membrane potentials to integrate information over time. However, many SNN object detectors process isolated event intervals with a single label and reset the network state after each prediction, thereby underusing temporal information in continuous event streams. We introduce Sequence-SOD, a sequence-aware SNN object detector that processes extended event sequences containing labels at multiple time points. Events are accumulated into short intervals, discretized into temporal steps, and fed sequentially to an SSD-style Spiking DenseNet while preserving membrane potentials across intervals within a sequence, so that detection is driven by an evolving neural state instead of independently reset input windows. On the Gen1 Automotive Detection Dataset, sequence-aware training improves mAP from 23.38 for single-interval training to 25.30 without augmentation and to 26.88 withevent-data augmentation. The model achieves a theoretical prediction frequency of 40 Hz. Training and evaluating SNN object detectors on extended event sequences improves their ability to exploit temporal cues while preserving the energy-efficiency benefits of sparse spiking computation. The results highlight sequence-aware training as a complementary direction to architectural improvements for event-based SNN detection.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.26703v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.