생물학적 시각 시스템은 희소하고 비동기적인 스파이킹 신호를 처리함으로써 연속적이고 지연시간이 낮은 모션 인지(motion perception)를 달성하며, 이를 통해 엄격한 에너지 제약 하에서도 실시간 추적을 가능하게 한다. 포유류의 망막에서 영감을 받은 이벤트 기반 카메라(event-based camera)는 국소적인 밝기 변화만을 비동기 이벤트로 포착함으로써 이러한 효율성을 재현하며, 스파이킹 신경망(SNN)이 연산을 병렬화하고 빠르게 변화하는 장면에 적응할 수 있는 자연스러운 기반을 제공한다. 핀볼(pinball)은 작고 빠르게 움직이는 타깃에 대한 정밀한 모션 추정과 신속한 반응을 요구하는, 통제되면서도 동적인 테스트베드를 제공한다. 본 연구는 폐루프(closed-loop) 핀볼 게임플레이를 위한 완전한 스파이킹 기반의 실시간 인지-행동(perception-to-action) 파이프라인을 제시한다. 동적 비전 센서(dynamic vision sensor)가 작고 빠르게 움직이는 공을 관측하며, SpiNNaker 뉴로모픽 플랫폼 상의 스파이킹 시간차 인코더(Time-Difference Encoder) 네트워크가 공의 위치, 속도, 방향을 공동으로 추정한다. 이 시스템은 실시간 동작을 위해 수용장(receptive field) 크기, 누적 윈도우(accumulation window), 각도 튜닝 폭(angular tuning width)을 기준으로 특성화되며, 물리적 사실성이 점차 높아지는 두 가지 플리퍼(flipper) 체제(regime)에서 인간 플레이어를 상대로 폐루프 방식으로 벤치마킹된다. 이 시스템은 56.1%의 적중률(hit rate)을 달성하는데, 이는 인간 평균의 거의 두 배에 해당하며, 21.7ms(네트워크 지연시간 5ms) 이내에 반응하고 25,000개 미만의 뉴런을 사용하여 약 148 μW를 소비함으로써, 벤치마킹된 이벤트 기반 폐루프 시연 시스템 중 가장 빠르고 가장 에너지 효율적인 축에 속한다. 보다 사실적인 플리퍼 역학(dynamics) 하에서는, 해석 가능한 단일 정책 매개변수(policy parameter)를 조정하는 것만으로 인지 파이프라인의 변경 없이 신중한 플레이 스타일부터 공격적인 플레이 스타일에 이르는 인간 플레이 스타일의 전체 스펙트럼을 재현한다. 실제 공을 추적하고 실제 플리퍼를 폐루프 방식으로 구동하는 물리적 시연 장치(physical demonstrator)는 이 원리가 시뮬레이션을 넘어서도 작동함을 확인시켜 준다. 완전한 스파이킹 기반의, 학습이 필요 없는(learning-free) 설계는 실시간 뉴로모픽 인지-행동의 소형이면서 에너지 효율적인 사례를 제공한다.
Hybrid event-frame sensors integrate an Event Vision Sensor (EVS) and an Active Pixel Sensor (APS) within a single chip, combining the high dynamic range and low latency of the EVS with the rich spatial intensity information from the APS. While this tight integration offers compact and temporally precise imaging, the complex circuit architecture introduces nontrivial noise patterns that remain poorly understood and unmodeled. In this work, we present the first unified statistics-based imaging noise model that jointly describes the noise behavior of APS and EVS pixels. Our formulation explicitly incorporates photon shot noise, dark current noise, fixed-pattern noise, and quantization noise, and links EVS noise to illumination level and dark current. Based on this formulation, we further develop a calibration pipeline to estimate noise parameters from real data and provide a detailed analysis of both APS and EVS noise behaviors. Finally, we propose H-ESIM, a statistically grounded simulator that generates RAW frames and events under realistic jointly calibrated noise statistics. Experiments on two hybrid sensors validate our model across multiple imaging tasks, including video frame interpolation and deblurring, demonstrating strong transfer from simulation to real data.
이벤트 기반 비전과 스파이킹 신경망(SNN)은 엄격한 지연 시간 및 에너지 제약 하의 엣지 인텔리전스에 점점 더 많이 채택되고 있다. 그러나 이벤트 기반 SNN 객체 검출 모델이 가용성 백도어 공격에 취약하다는 점은 아직 충분히 연구되지 않았다. 본 논문은 SNN 기반 객체 검출 모델을 표적으로 하는 가용성 백도어 공격인 이벤트 버스트 트리거(EBT, Event Burst Trigger)를 제안한다. EBT는 정교하게 설계된 이벤트 기반 트리거를 학습 데이터에 주입하며, 이 트리거는 추론 시 시간적으로 집중된 이벤트 스트림을 유발한다. 이러한 버스트형 활성화는 유령(즉, 허위) 객체 후보의 수를 증가시키고, 결과적으로 후처리 단계, 특히 비최대 억제(NMS, Non-Maximum Suppression)의 연산 비용을 팽창시킨다. 우리는 모델 아키텍처, 손실 함수, 추론 파이프라인의 수정을 요구하지 않는 포이즌-온리(poison-only) 위협 모델 하에서, 최신 SNN 기반 객체 검출기인 SpikeYOLO를 대상으로 EBT를 평가한다. 실험 결과, 검출 정확도는 [email omitted] 0.099 미만 감소하여 대체로 유지되는 반면, NMS 단계의 지연 시간은 최대 38% 증가하는 것으로 나타났다. 이는 NMS가 이벤트 기반 SNN 객체 검출에서 지배적인 가용성 병목 지점이 될 수 있음을 시사한다. 엣지 플랫폼에서의 실험은 제안된 공격이 자원 사용량에 뚜렷한 피크를 유발하지 않으면서도 기준선 자원 활용도를 높이고 스케줄링 여유(slack)를 감소시킨다는 것을 추가로 보여준다. 또한 STRIP 기반 백도어 탐지는 제안된 공격을 정상 입력으로부터 신뢰성 있게 구별하는 데 실패한다. 이러한 결과는 이벤트 기반 SNN 객체 검출 시스템에서 이전까지 충분히 탐구되지 않았던 가용성 백도어 위협을 규명한다.
희소 이벤트 스트림에서 고품질 비디오를 복원·예측·보간하는 통합 프레임워크 LongE2V를 제안하며, 사전학습된 비디오 확산 모델(CogVideoX)을 파인튜닝하여 텍스처 흐림과 장기 시간적 드리프트 문제를 해결한다. 자기회귀적 언롤링(Autoregressive Unrolling), 적응형 컨텍스트 전환, 교차 잔차 보정을 포함한 재인코딩 정렬 기법을 도입하여 실세계 벤치마크 세 가지 과제 모두에서 최첨단 방법을 능가하고 제로샷 일반화를 달성했다.
이벤트 기반 카메라의 바이어스(bias) 자동 튜닝을 위한 재현 가능한 벤치마크 데이터셋 BiasBench를 제안하며, 격자형 패턴으로 샘플링된 바이어스 설정과 3가지 장면별 품질 지표를 포함한다. 온라인 바이어스 조정을 위해 행동 복제(Behavioral Cloning) 기반의 기준선 알고리즘도 함께 제시한다.
이벤트 기반 비전 센서와 기존 프레임 기반 모델 간의 성능 격차를 좁히기 위해, GERD는 아핀(affine), 갈릴레이(Galilean), 시간적 스케일링 변환을 정밀하게 제어하여 이벤트 기반 녹화 데이터를 생성하는 시뮬레이터로, 각 타임스텝마다 정답 변환 파라미터를 제공해 기하학적 특성의 가설 기반 연구를 가능하게 한다. PyTorch 기반으로 구현되었으며 세 가지 노이즈 모델과 서브픽셀 모션을 지원하고, 기하학적 보장이 있는 모델 평가 실험을 통해 학습 활용 가능성을 시연하며 오픈소스로 공개되었다.
BitFair는 XR 웨어러블의 초저전력·저지연 요구를 충족하기 위해 학습 가능한 비트 수준 조기 종료(early termination)와 적응형 비트 순서를 결합한 소프트웨어-하드웨어 공동 설계 비트 직렬 CNN 가속기로, ReLU 출력이 0이 될 것을 부분 합으로 예측해 불필요한 비트 연산을 생략한다. GlobalFoundries 12nm FinFET으로 구현한 결과 IBM DVS128 Gesture와 N-MNIST에서 각각 96.5%, 97.7% 정확도를 달성하며 기존 XR 비전 가속기 대비 에너지 효율을 최대 22.1배 향상시켰다.
생물학적 망막에서 영감을 받은 이벤트 기반 시각 센싱(EVS)은 초저지연, 넓은 동적 범위, 낮은 전력 소비 등의 강점으로 기존 프레임 기반 보행자 검출의 한계를 극복할 수 있어, 본 리뷰는 지능형 교통 및 감시 시나리오에서의 이벤트 기반 보행자 검출(EB-PD) 연구를 이벤트 표현·전처리·특징 추출·검출 모델·데이터셋 측면에서 체계적으로 정리한다. 직접 이벤트 스트림 처리, 이벤트-프레임 변환, 멀티모달 융합 등 주요 처리 패러다임별 장단점을 비교 분석하고, 벤치마크 표준화·이벤트 네이티브 모델 설계·실세계 배포 등 미해결 과제와 향후 연구 방향을 제시한다.
이벤트 카메라의 낮은 중복성과 동적 움직임 강조 특성을 영상 이상 탐지(VAD)에 활용하기 위해, UCF-Crime 등 기존 RGB 데이터셋에서 시뮬레이션된 대규모 이벤트 스트림 벤치마크를 구축하고, 이벤트 밀도 기반 동적 샘플링·밀도 변조 어텐션·RGB-to-event 지식 증류를 결합한 EWAD 프레임워크를 제안한다. 세 벤치마크 실험에서 EWAD는 기존 이벤트 기반 방법 대비 유의미한 성능 향상을 달성하며 이 분야의 강력한 베이스라인을 제시한다.
이벤트 기반 객체 검출(EvDet)은 생물학적으로 영감을 받은 시각 지각 패러다임으로, 높은 시간 해상도와 넓은 동적 범위가 요구되는 시나리오에서 우수한 성능을 보인다. 그러나 이벤트 데이터의 본질적인 희소 표현과 불충분한 시각적 의미론으로 인해 EvDet와 프레임 기반 객체 검출 간에 상당한 성능 격차가 발생한다. 기존 연구들은 지식 증류를 통해 이러한 크로스 모달 불일치를 완화하고자 했으나, 공간적 시각 의미론이나 쌍별(pair-wise) 관계 정보에만 집중하여 더 복잡한 시나리오에서 성능이 제한된다. 이러한 문제를 해결하기 위해 본 논문은 EvDet를 위한 다중 도메인 및 다중 차수 크로스 모달 지식 증류 프레임워크인 M^2C-EvDet를 제안한다. 주파수 학습과 하이퍼그래프 연산을 기반으로 구축된 M^2C-EvDet는 두 가지 특화 모듈인 적응형 주파수 분리 특징 증류(AF^2D^2, Adaptive Frequency-Decoupled Feature Distillation)와 다중 차수 관계 증류(MORD, Multi-Order Relational Distillation)를 통합한다.
Sampled point and voxel methods are usually employed to downsample the dense events into sparse ones. After that, one popular way is to leverage a graph model which treats the sparse points/voxels as nodes and adopts graph neural networks (GNNs) to learn the representation of event data. Although good performance can be obtained, however, their results are still limited mainly due to two issues. (1) Existing event GNNs generally adopt the additional max (or mean) pooling layer to summarize all node embeddings into a single graph-level representation for the whole event data representation. However, this approach fails to capture the importance of graph nodes and also fails to be fully aware of the node representations. (2) Existing methods generally employ either a sparse point or voxel graph representation model which thus lacks consideration of the complementary between these two types of representation models. To address these issues, we propose a novel dual point-voxel absorbing graph representation learning for event stream data representation. To be specific, given the input event stream, we first transform it into the sparse event cloud and voxel grids and build dual absorbing graph models for them respectively. Then, we design a novel absorbing graph convolutional network (AGCN) for our dual absorbing graph representation and learning. The key aspect of the proposed AGCN is its ability to effectively capture the importance of nodes and thus be fully aware of node representations in summarizing all node representations through the introduced absorbing nodes. Extensive experiments on multiple event-based classification benchmark datasets fully validated the effectiveness of our framework.
이벤트 카메라는 장면을 마이크로초 해상도의 *이벤트* 연속 스트림으로 표현하여 탁월한 시간적 충실도로 동적 장면을 캡처합니다. 그러나 각 개별 이벤트는 국소적인 밝기 변화만을 신호할 뿐 최소한의 의미적 가치만을 지닙니다. 의미 있는 신호를 도출하기 위해 다운스트림 알고리즘은 잠재적으로 거대한 양의 저정보 이벤트 홍수에서 단서를 빠르게 통합해야 합니다. 그러나 현재 아키텍처는 쉽게 압도되며, 미세한 시간적 역학을 포착하는 것과 관리 가능한 데이터 처리량을 유지하는 것 사이의 균형을 맞추는 데 어려움을 겪습니다. 본 논문은 이벤트 스트림을 소수의 고도로 정보가 풍부한 *신경 이벤트(neural events)*로 재토큰화하는 프레임워크를 제안합니다. 각 신경 이벤트는 이산 학습 가능 코드로 국소 시공간 컨텍스트 윈도우를 나타냅니다. 이 코드가 바뀔 때마다 신경 이벤트가 트리거되어 고도로 압축된 데이터 스트림이 생성됩니다. 우리는 객체 검출 및 분류에 걸쳐, 신경 이벤트에서 학습된 네트워크가 이벤트율을 2.0배 줄이면서도 최첨단 방법론의 성능과 동등하거나 이를 능가함을 입증합니다.
일반 스마트폰 RGB 영상을 v2e로 동적 시각 센서(DVS) 이벤트 데이터로 변환하고, CNN과 SNN(스파이킹 신경망)을 결합한 하이브리드 모델로 낙상 감지를 수행하는 저비용 신경형(neuromorphic) 프레임워크를 제안한다. 자체 구축 NFDD 데이터셋에서 99.72% 분류 정확도를 달성했으며, 기존 머신러닝 모델 대비 정확도를 유지하면서 효율이 크게 향상되었다.
이벤트 기반 비전(event-based vision)은 초고속 시간 해상도와 극한의 동적 범위를 포함한 독특한 특성으로 인해 점점 더 많은 주목을 받고 있다. 최근 연구들은 이를 비디오 초해상도(VSR)에 도입하여 광학 흐름 추정과 시간적 정렬을 향상시켜 왔다. 이와 달리, 본 논문은 VSR에서 이벤트 신호의 초점을 모션 정제에서 텍스처 향상으로 전환한다. 우리는 VSR에서 텍스처 향상에 특화된 최초의 이벤트 기반 프레임워크인 EvTexture++를 제안한다. 이 프레임워크는 이벤트의 고주파 시공간 세부 정보를 활용하여 텍스처 복원을 개선한다. EvTexture++는 맞춤형 텍스처 향상 브랜치와 함께, 텍스처 복원을 위해 고시간 해상도 이벤트 정보를 점진적으로 활용하는 반복적 텍스처 향상 모듈을 통합한다. 이를 통해 반복 과정 전반에 걸쳐 텍스처 영역을 점차적으로 정제하여 더욱 정확하고 세밀한 고해상도 출력을 생성한다. 프레임 내 텍스처 복원 외에도, 큰 모션은 특히 텍스처 영역에서 프레임 간 시간적 일관성을 저하시켜 텍스처 깜빡임(flickering)을 유발할 수 있다. 이를 완화하기 위해, 우리는 이벤트의 연속 시간 모션 단서를 추가로 활용하여 시간적 일관성을 강화하는 시간적 텍스처 정렬 모듈을 도입하며, 이 모듈은 정밀한 프레임 간 텍스처 정렬을 위한 이벤트 기반 텍스처 인식 광학 흐름을 추정한다. 나아가, EvTexture++는 기존 VSR 모델의 성능을 유연하게 향상시키는 플러그 앤 플레이(plug-and-play) 도구로 설계되었다. 다섯 개의 데이터셋에 대한 실험을 통해 EvTexture++가 최첨단(state-of-the-art) 성능을 달성함을 입증한다. 최신 VSR 모델에 통합했을 때 유의미한 성능 향상을 제공하며, 텍스처가 풍부한 Vid4 데이터셋에서 PSNR 기준 최대 1.55 dB의 향상을 달성한다. 코드: https://github.com/DachunKai/EvTexture.
스마트 안경은 멀티모달 센서와 온디바이스 지능을 통해 눈에 띄지 않는 문맥 인식형 상호작용을 가능하게 하지만, 소형 폼팩터에서 전력, 메모리, 연산 제약에 크게 제한된다. 이 규모에서 이벤트 기반 비전과 임베디드 ML을 지원하는 오픈 하드웨어 플랫폼은 드물다. 본 연구는 새로운 센서와 알고리즘의 신속한 프로토타이핑을 위한 오픈소스 스마트 안경 플랫폼을 소개한다. 모듈형 설계는 유연한 FPC 인터포저를 사용하여 전체 PCB 재설계 없이 이벤트 기반 및 프레임 기반 카메라를 모두 지원한다. 하드웨어-소프트웨어 공동 설계 전력 관리 시스템은 구성 가능한 PMIC와 nRF5340 코디네이터를 통한 이벤트 구동 웨이크업을 결합하여, 추론 사이에 GAP9 RISC-V SoC의 전원을 차단한다. 프로토타입은 200 mAh 배터리로 최대 11.8시간의 연속 온디바이스 ML을 달성한다. 시연으로, Prophesee GENX320 카메라의 극성 분리 이벤트 히스토그램을 사용하여 LynX 데이터셋에서 에고센트릭 손 제스처 인식 파이프라인을 평가했다. R(2+1)D는 leave-two-subjects-out 검증에서 83.94%의 최고 교차 피험자 정확도(macro F1 = 0.781)를 달성했으며, GAP9에서 33.9 ms의 end-to-end 지연시간을 보였다. 시간적 증강과 모호한 클래스 제거가 가장 큰 성능 향상(+8.9 pp)을 제공했다. 모든 하드웨어 설계, 펌웨어, 모델은 오픈소스로 공개된다.
동적 비전 센서(DVS)는 픽셀 단위 밝기 변화를 비동기적으로 보고함으로써 뛰어난 시간 분해능과 다이내믹 레인지를 제공한다. 그러나 기존 DVS는 생물학적 망막 신경절세포(RGC)가 수행하는 공간 통합을 무시하고 픽셀별 독립적 트리거 메커니즘에 의존한다. 결과적으로 대비 민감도 함수(CSF)와 중간 공간 주파수에 대한 고유한 민감도가 결여되어, 임계값 미만 신호 손실로 인해 불가피하게 정보 불완전성이 발생한다. 이 간극을 메우기 위해, 우리는 이벤트 트리거 과정 바로 앞에 학습 가능한 공간 필터를 통합하여 RGC 집적 메커니즘을 모방하는 새로운 패러다임인 FS-DVS(Frequency-Selective Dynamic Vision Sensor, 주파수 선택적 동적 비전 센서)를 제안한다. 미분 가능한 이벤트 시뮬레이션 프레임워크를 개발함으로써, 공간 필터를 다운스트림 태스크와 함께 종단 간(end-to-end)으로 최적화할 수 있다. 우리 연구는 델타 함수에서 출발할 때 학습된 공간 필터가 중간 주파수 성분을 강조하는 중심-주변(center-surround) 패턴으로 자발적으로 진화하며, 인간 CSF와 일관되게 정렬됨을 보여준다. 객체 검출과 행동 인식에서 상당한 성능 향상을 달성하는 것을 넘어, 서로 다른 태스크에서 인간과 유사한 CSF 특성으로의 일관된 수렴은 이러한 중간 주파수 선택 메커니즘의 보편성을 강조한다. 센서 감도를 단순히 높이거나 후처리(post-processing)에 의존하는 방식과 비교할 때, 우리 패러다임은 높은 노이즈 내성을 갖는 선택적 정보 강화를 달성하며, 차세대 신경모사형 센서(neuromorphic sensors)를 위한 견고하고 생물학적으로 타당한 청사진을 제공한다.