이벤트 파이프라인은 종종 학습 전에 비동기 타임스탬프를 이산화한다. 이 단계는 무해해 보이지만, 안정성은 시간 해상도에 직접적으로 의존한다. 우리는 표현 수준에서 이러한 의존성을 연구한다. 먼저 경직된 시간 빈ning(hard temporal binning)이 불연속임을 보인다. 경계 근처에서 임의로 작은 타임스탬프 이동만으로도 단위 이벤트 질량이 빈(bin) 사이로 이동할 수 있다. 이어서 비음(nonnegative), 질량 보존(mass-preserving), 해상도 충실(resolution-faithful) 연속 인코더의 한 클래스를 정의하고, 이 클래스에 속하는 모든 인코더의 전역 L1 민감도(sensitivity)가 최소 2/Δ(Δ는 빈 너비)임을 증명한다. 선형 2-bin 보간이 이 한계에 도달한다. 국소 지지(local support)와 1차 모멘트 보존(first-moment preservation) 또한 이를 유일하게 만든다. SHD, N-MNIST, DVS128 Gesture에서의 실험이 분석을 뒷받침한다. 균일한 타임스탬프 예산 전반에서 선형 보간은 평균 표현 drift를 47–72% 낮추면서 clean 정확도는 거의 변하지 않게 유지한다. DVS Gesture에서는 테스트된 모든 예산과 세 개의 시드에 걸쳐 예측 전환(prediction flip)이 0이다. SHD에서는 측정된 drift가 R² = 0.992와 함께 1/Δ를 따른다.
이벤트 카메라는 공간적 희소성과 높은 시간 해상도를 갖춘 순차적 시각 데이터를 제공하며, 저지연 객체 검출에 매력적인 선택지가 된다. 기존 비동기 이벤트 기반 신경망은 이벤트마다 예측을 갱신함으로써 이러한 저지연 이점을 활용하지만, 여전히 두 가지 병목에 시달린다. 순환(recurrent) 아키텍처는 긴 시퀀스에서 효율적으로 학습하기 어렵고, 정확도를 높이면 이벤트당 연산량과 지연이 증가하는 경우가 많다. 선형 어텐션은 병렬 학습과 순환 추론을 가능하게 하므로 매력적이다. 그러나 밀집된 상태 갱신 때문에 이벤트당 연산량이 상태 크기에 비례하여 증가하고, 정확한 위치 파악을 위해 세밀한 공간 상태가 필요한 객체 검출에서는 정확도와 효율 사이의 트레이드오프가 좋지 않다. 따라서 핵심 과제는 효율적인 병렬 학습을 유지하면서 이벤트의 공간적 희소성을 활용하는 희소 상태 활성화를 도입하는 것이다. 우리는 공간 혼합(mixture-of-spaces) 상태 분해와 scatter-compute-gather 학습 절차를 도입하여 상태 수준의 희소성과 학습 병렬성을 모두 달성하는 공간적으로 희소한 선형 어텐션(Spatially-Sparse Linear Attention, SSLA)을 제안한다. SSLA를 기반으로 저지연 이벤트 기반 객체 검출을 위한 종단 간(end-to-end) 비동기 선형 어텐션 모델 SSLA-Det을 개발한다. Gen1과 N-Caltech101에서 SSLA-Det은 비동기 방법 중 최첨단 정확도를 달성하여 각각 0.375 mAP와 0.515 mAP에 도달하며, 가장 강력한 선행 비동기 기준선 대비 이벤트당 연산량을 20배 이상 줄여, 저지연 이벤트 기반 비전에서 선형 어텐션의 잠재력을 보여준다.
기존의 프레임 기반(frame-based) 카메라는 고속 움직임으로 인한 모션 블러(motion blur)나 저조도 환경에서 객체를 검출하는 데 상당한 어려움을 겪는다. 뉴로모픽 카메라는 높은 시간 해상도와 넓은 다이내믹 레인지(dynamic range)를 갖춘 비동기(asynchronous) 시각 스트림을 제공하여, 까다로운 조건에서의 객체 검출을 위한 유망한 해결책을 제시한다. 뉴로모픽 객체 검출 분야에서 수많은 모델이 개발되고 다양한 응용이 등장했음에도 불구하고, 진행 상황을 평가하고 핵심 과제를 해결하기 위한 심층적 이해와 표준화된 벤치마크(benchmark)가 여전히 부족하다. 본 논문에서는 기존 뉴로모픽 객체 검출 알고리즘에 대한 포괄적인 서베이(survey)와 벤치마크를 제공한다. 구체적으로, 먼저 문제 정의를 제시하고, 이용 가능한 데이터셋(dataset)을 검토하며, 평가(evaluation) 지표를 재검토한다. 이어서 이벤트 표현(event representation), 시간적 모델링(temporal modeling), 멀티모달 융합(multimodal fusion), 비동기 처리(asynchronous processing), 저지연(low-latency) 처리, 에너지 효율적(energy-efficient) 컴퓨팅 등 다양한 관점에서 기존 뉴로모픽 객체 검출 접근법을 탐구한다. 또한 대표적인 뉴로모픽 객체 검출 모델을 폭넓게 평가하고 비교 결과에 대한 상세한 분석을 제공한다. 마지막으로, 뉴로모픽 객체 검출의 미해결 과제를 논의하고 잠재적인 향후 연구 방향을 제안한다. 본 서베이와 벤치마크가 연구자들에게 유용한 자료가 되어 뉴로모픽 객체 검출의 향후 발전을 위한 지침을 제공하기를 기대한다.
이벤트 기반 카메라의 바이어스(bias) 자동 튜닝을 위한 재현 가능한 벤치마크 데이터셋 BiasBench를 제안하며, 격자형 패턴으로 샘플링된 바이어스 설정과 3가지 장면별 품질 지표를 포함한다. 온라인 바이어스 조정을 위해 행동 복제(Behavioral Cloning) 기반의 기준선 알고리즘도 함께 제시한다.
이벤트 카메라는 마이크로초 수준의 지연으로 고주파 시각 인식을 가능하게 하며, 동적 장면에서 장점을 제공한다. 그러나 이벤트 기반 소형 객체 검출은 희소하고 비동기적인 측정과, 노이즈에 의해 쉽게 왜곡되는 약한 객체 응답으로 인해 여전히 어려운 과제이다. 제한된 공간적 지원은 소형 객체 신호가 시간적 연속성을 상실하게 하여, 단편적이고 불안정한 예측을 초래한다. 이 문제를 해결하기 위해, 우리는 이벤트 진화를 움직임 주도 특징 수송 과정으로 공식화하는 물리 기반 이류(advection) 일관성 모델링 프레임워크인 PACT를 제안한다. 국소 시공간 집계에만 의존하는 대신, PACT는 추정된 속도장을 따라 특징을 전파하고, 이류 제약을 통해 궤적 수준의 일관성을 강제한다. 이 설계는 시간에 걸쳐 약한 이벤트 응답을 보존하고, 복잡한 배경 간섭 하에서의 퇴화를 방지한다. 기술적으로 PACT는 움직임 인식 특징 추출과 미분 가능한 이류 기반 수송 연산자를 통합하여, 시간적 진화 과정에서 일관된 움직임 표현과 효과적인 노이즈 억제를 가능하게 한다. 벤치마크 이벤트 기반 데이터셋에 대한 광범위한 실험은 PACT가 최신(state-of-the-art) 방법들을 꾸준히 능가하며, IoU에서 20.72%의 향상과 정확도(accuracy)에서 15.03%의 향상을 달성하면서 비슷한 계산 효율을 유지함을 보여준다. 코드는 https://github.com/fulongcai/PACT 에서 공개적으로 이용할 수 있다.
이벤트 카메라는 마이크로초 수준의 지연 시간과 고동적 범위를 통해 비동기 밝기 변화로 세상을 감지하며, 프레임 기반 센서를 훨씬 뛰어넘는 모션 충실도를 제공하고 기존 노출 방식이 놓치는 시간적 구조를 포착합니다. 이러한 특성은 이벤트를 자율 주행에서 RGB의 강력한 보완 수단으로 만들어주며, 특히 프레임 기반 인지가 신뢰할 수 없게 되는 흐림, 눈부심, 급격한 움직임 상황에서 유용합니다. 그러나 기존의 이벤트 인식 비전-언어 모델은 일반적인 인지에 국한되어 있어, 이벤트 감지가 전체 주행 루프에 걸친 추론 및 의사결정에 어떻게 기여하는지 보여주지 못합니다. 우리는 이벤트 스트림, RGB 프레임, 언어 감독을 인지, 이해, 예측, 계획이라는 4가지 핵심 차원에 걸쳐 통합하고, 캡션, 구조화된 질의응답(QA), 그라운딩, 동작 상태 인식, 궤적 예측, 계획 작업을 포괄하는 대규모 벤치마크 및 모델 스위트인 EventDrive를 제시합니다. 이 기반을 바탕으로, EventDrive-VLM은 다중 시간 수평 이벤트 피라미드와 시간 수평 전문가 혼합(MoE) 모듈을 도입하여 비동기 및 프레임 기반 정보를 다운스트림 추론을 위해 적응적으로 인코딩하고 융합합니다. 다양한 작업에 걸친 포괄적인 평가 결과, 이벤트 스트림은 시간적 정밀도, 모션 인식, 강건성에서 상당한 이득을 제공하며, 이벤트 감지를 주행 지능의 중심으로 가져옴을 보여줍니다.
이동 인스턴스 분할(MIS)은 교통 감시, 자율 주행, 동물 추적 등 광범위한 응용 분야로 인해 점점 더 많은 주목을 받고 있습니다. 이벤트 카메라는 비동기 밝기 변화를 기록하여 높은 시간적 해상도와 동적 범위(dynamic range)를 제공하므로 움직임 정보에 매우 민감합니다. 이벤트와 이미지 특징을 융합함으로써, 이벤트에서 얻은 움직임 단서가 이미지의 공간적 세부 정보를 보완하여 MIS 성능을 향상시킬 수 있습니다. 그러나 현재의 다중 모달 MIS 방법들은 제한된 해상도에서 이벤트 카메라가 희소한 특징을 생성하는 경우가 많아 작은 이동 인스턴스를 분할하는 데 여전히 어려움을 겪고 있습니다. 더욱이, 이벤트 특징은 외관 속성과 움직임 단서가 얽혀 있어 효과적인 교차 모달 융합을 더욱 제한합니다. 이러한 문제를 해결하기 위해, 우리는 먼저 이미지와 이벤트 모달리티 내에서 외관 및 움직임 정보를 분리하여 추출함으로써 특징 밀도를 향상시키는 이중 분리(dual-disentangling) 특징 추출 프레임워크를 제안합니다. 이어서, 모달리티 간에 분포적 및 의미적으로 일관된 특징을 정렬하여 풍부한 공간 및 시간적 세부 정보를 바탕으로 더 효과적인 융합을 가능하게 하는 다중 입자도(multi-granularity) 교차 모달 정렬을 도입합니다. 실험 결과, 우리의 방법이 다중 모달 MIS에서 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 특히 빠른 움직임이나 저조도와 같은 도전적인 조건 하에서 작은 인스턴스의 경우에 두드러진 성능을 보입니다.