Automotive Object Detection via Learning Sparse Events by Spiking Neurons
원문 초록
Event-based sensors, distinguished by their high temporal resolution of 1 $\mathrm{\mu}\text{s}$ and a dynamic range of 120 $\text{dB}$, stand out as ideal tools for deployment in fast-paced settings like vehicles and drones. Traditional object detection techniques that utilize Artificial Neural Networks (ANNs) face challenges due to the sparse and asynchronous nature of the events these sensors capture. In contrast, Spiking Neural Networks (SNNs) offer a promising alternative, providing a temporal representation that is inherently aligned with event-based data. This paper explores the unique membrane potential dynamics of SNNs and their ability to modulate sparse events. We introduce an innovative spike-triggered adaptive threshold mechanism designed for stable training. Building on these insights, we present a specialized spiking feature pyramid network (SpikeFPN) optimized for automotive event-based object detection. Comprehensive evaluations demonstrate that SpikeFPN surpasses both traditional SNNs and advanced ANNs enhanced with attention mechanisms. Evidently, SpikeFPN achieves a mean Average Precision (mAP) of 0.477 on the GEN1 Automotive Detection (GAD) benchmark dataset, marking significant increases over the selected SNN baselines. Moreover, the efficient design of SpikeFPN ensures robust performance while optimizing computational resources, attributed to its innate sparse computation capabilities. Source codes are publicly accessible at https://github.com/EMI-Group/spikefpn.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트 버스트 트리거: 이벤트 기반 SNN 객체 검출에 대한 가용성 백도어 공격
Event Burst Trigger: An Availability Backdoor Attack on Event-Based SNN Object Detection
이벤트 기반 비전과 스파이킹 신경망(SNN)은 엄격한 지연 시간 및 에너지 제약 하의 엣지 인텔리전스에 점점 더 많이 채택되고 있다. 그러나 이벤트 기반 SNN 객체 검출 모델이 가용성 백도어 공격에 취약하다는 점은 아직 충분히 연구되지 않았다. 본 논문은 SNN 기반 객체 검출 모델을 표적으로 하는 가용성 백도어 공격인 이벤트 버스트 트리거(EBT, Event Burst Trigger)를 제안한다. EBT는 정교하게 설계된 이벤트 기반 트리거를 학습 데이터에 주입하며, 이 트리거는 추론 시 시간적으로 집중된 이벤트 스트림을 유발한다. 이러한 버스트형 활성화는 유령(즉, 허위) 객체 후보의 수를 증가시키고, 결과적으로 후처리 단계, 특히 비최대 억제(NMS, Non-Maximum Suppression)의 연산 비용을 팽창시킨다. 우리는 모델 아키텍처, 손실 함수, 추론 파이프라인의 수정을 요구하지 않는 포이즌-온리(poison-only) 위협 모델 하에서, 최신 SNN 기반 객체 검출기인 SpikeYOLO를 대상으로 EBT를 평가한다. 실험 결과, 검출 정확도는 [email omitted] 0.099 미만 감소하여 대체로 유지되는 반면, NMS 단계의 지연 시간은 최대 38% 증가하는 것으로 나타났다. 이는 NMS가 이벤트 기반 SNN 객체 검출에서 지배적인 가용성 병목 지점이 될 수 있음을 시사한다. 엣지 플랫폼에서의 실험은 제안된 공격이 자원 사용량에 뚜렷한 피크를 유발하지 않으면서도 기준선 자원 활용도를 높이고 스케줄링 여유(slack)를 감소시킨다는 것을 추가로 보여준다. 또한 STRIP 기반 백도어 탐지는 제안된 공격을 정상 입력으로부터 신뢰성 있게 구별하는 데 실패한다. 이러한 결과는 이벤트 기반 SNN 객체 검출 시스템에서 이전까지 충분히 탐구되지 않았던 가용성 백도어 위협을 규명한다.
도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹
Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality
시계를 굽히다: 이벤트 기반 객체 검출에서 지연을 이기 위한 선행 예측
Bend the Clock: Predicting Ahead to Beat Latency in Event-Based Object Detection
이벤트 카메라는 고속 로봇 시스템에서 낮은 지연의 인지를 약속하지만, 짧은 지연조차도 검출 결과가 하위 로봇 의사결정에 반영될 때쯤에는 이미 낡은 정보가 될 수 있다. 그럼에도 최신 이벤트 검출기는 예측이 사용 가능해지기까지 수십 밀리초의 연산을 여전히 요구한다. 기존 평가는 관측 시각의 주석과 예측을 비교하여 이 지연을 무시하는데, 실제로는 그 예측이 생성될 때쯤 장면이 이미 바뀌었을 수 있다. 본 연구는 이벤트 기반 다중 객체 검출에서 이러한 관측–가용성 불일치를 분석하고, 최신 이벤트 검출기가 관측 시각이 아니라 예측 가용 시각 기준으로 평가할 때 성능이 크게 저하됨을 보인다. 이를 해결하기 위해 ChronoFuse를 제안한다. ChronoFuse는 입력이 관측된 시각이 아니라 출력이 사용 가능해지는 시각의 객체 상태를 예측하는 인과적 가용-시각 검출기이다. ChronoFuse는 다중 스케일 특징 계층에 걸친 인과적 교차-시간 융합을 수행하여, 캐시된 시간적 특징과 현재 표현을 결합함으로써 미래 관측을 사용하지 않고 단기 시간적 단서를 드러낸다. 융합 경로는 경량이며, 평균 end-to-end 지연 오버헤드는 0.17백만 개의 파라미터와 0.84 ms만 추가한다. ChronoFuse는 1Mpx 주행 데이터에서 지연으로 인한 정확도 손실의 71%를 회복하고, FRED의 급격한 드론 움직임에서는 90.8%를 회복하여 거의 무지연 성능에 가깝게 복원한다. EV-Flying의 극한적인 움직임에서는 ChronoFuse가 20.95 sAP에 도달하며, 가장 강한 표준 이벤트 검출기의 2.25 대비 9.3배 향상을 보인다. 이 결과는 자율주행, 민첩 비행, 로봇 요격 등 빠르게 변하는 장면에서 동작하는 로봇에게 선행 예측이 핵심적일 수 있음을 보여준다.
YOLO26은 엣지 배포에서 이전 모델들보다 진정한 이점을 제공하는가? 수산양식 분야의 벤치마크 연구
Does YOLO26 Truly Offer Advantages Over Its Predecessors for Edge Deployment? A Benchmark Study in Aquaculture
최근 소개된 YOLO26 아키텍처는 NMS-free 엔드-투-엔드 추론을 통합하며 자원이 제한된 CPU 기반 디바이스에서의 엣지 배포에 최적화되어 있어, 엣지 기반 수산양식 애플리케이션에 적합하다. 그러나 수산양식 특화 시나리오에서의 성능, 운영 효율성 및 배포 적합성은 체계적으로 검증되지 않았다. 본 연구는 어류 개체군 건강 및 복지의 핵심 지표인 어류 폐사 검출(fish mortality detection)을 위해 nano, small, medium 모델 규모에 걸쳐 YOLO26과 세 가지 Ultralytics 전작(YOLOv5u, YOLOv8, YOLO11)을 종합적으로 벤치마크한다. 12개 모델 변형을 대상으로 검출 정확도, 7가지 데이터셋 크기에 걸친 학습 효율성, 고성능 NVIDIA A100 GPU 및 CPU 전용 Raspberry Pi 5 엣지 플랫폼에서의 추론 성능을 평가하였다. 모든 모델은 전체 데이터셋에서 유사한 성능을 달성하였으며 mAP50 차이는 1.04 퍼센트포인트에 불과하여, 충분한 학습 데이터가 있을 경우 아키텍처 세대가 최종 검출 정확도에 미치는 영향이 미미함을 보여준다. 그러나 데이터 효율성과 배포 성능에서 명확한 트레이드오프가 나타났다. YOLOv8은 400장의 학습 이미지만으로 mAP50 90%를 달성한 반면, YOLO26 nano 및 small 변형은 유사한 정확도에 도달하기 위해 1,000장이 필요하였다. 반면 YOLO26n은 Raspberry Pi 5에서 가장 높은 추론 속도(7.51 FPS)를 달성하였으며, YOLOv5mu는 CPU 기반 하드웨어에서 동시대 모든 medium 규모 아키텍처를 능가하였다. 이러한 결과는 아키텍처의 신규성만으로는 모델 선택에 충분하지 않으며, 수산양식의 실용적인 엣지 AI 배포를 위한 객체 검출 모델 선택 시 학습 데이터 가용성, 타겟 하드웨어, 추론 요구사항을 함께 고려해야 함을 보여준다.
Fully Rotation-Equivariant Spectral-Spatial Learning for Multispectral Object Detection
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.