arXiv:2610.00350v1 cs.CV

Vmem-$\varphi$: 막전위 통계 기반 스파이킹 신경망의 저연산 분포 외 탐지

Vmem-$\varphi$: Low-Compute Out-of-Distribution Detection in Spiking Neural Networks from Membrane-Potential Statistics

Arul Rana, Agrim Tripathi, Shoaib Ahmed Dipu, Md. Shaown Miah, Syed Ishtiaque Ahmed, Sayeed Shafayet Chowdhury

제출 2026-09-29

한국어 초록

스파이킹 신경망(SNN, Spiking Neural Networks)은 이벤트 카메라(event-camera) 데이터를 처리하는 데 에너지 효율적인 접근법을 제공하지만, 이러한 환경에서 분포 외(out-of-distribution, OOD) 탐지는 여전히 어려운 과제로 남아 있다. 기존 OOD 탐지 방법들은 객체 검출 SNN에서는 사용할 수 없는 모델 출력이나 연산 구성 요소에 의존하거나, 저연산 배포 환경에 적합하지 않은 경우가 많다. 이를 해결하기 위해, 우리는 역치 이하(subthreshold) 막전위 \(V_{\mathrm{mem}}(t)\)가 분포 변화(distribution shift)를 탐지하는 데 유용한 내부 신호를 제공함을 보인다. 이러한 막전위 동역학으로부터 도출한 단순한 채널별 통계량을 통해 OOD 탐지가 가능하다. 이 접근법을 평가하기 위해, 우리는 Prophesee Gen1 자동차 검출 데이터셋을 기반으로 개발한 이벤트 카메라 손상(corruption) 벤치마크인 Gen1-C를 소개하며, 이는 센서 특성에 기반한 6가지 히스토그램 수준의 스트레스 테스트를 5단계의 심각도로 포함한다. 우리는 또한 막전위 통계량에 기반해 동작하는 손상에 무관한(corruption-blind) 방법인 다중 서술자 편차(Multi-Descriptor Deviation, MDD)를 제안한다. 가장 높은 손상 심각도에서, MDD는 단 64프레임의 제한된 관찰 윈도우만을 사용하여 6가지 손상 유형 중 5가지에서 0.88 이상의 AUROC를 달성한다. 특히, 나머지 하나의 손상 유형은 기본 검출기(underlying detector)에 가장 적은 영향을 미치는 손상이기도 하다. 이러한 결과는 시간적 막전위 동역학이 SNN 기반 이벤트 인식에서 OOD 탐지를 위한 효과적이고 저비용의 신호를 제공할 수 있음을 보여준다.

원문 초록

Spiking Neural Networks (SNNs) offer an energy-efficient approach to processing event-camera data, yet out-of-distribution (OOD) detection remains challenging in this setting. Existing OOD detection methods often depend on model outputs or computational components that are unavailable in object detection SNNs or are poorly suited to low-compute deployment. To that effect, we show that the subthreshold membrane potential \(V_{\mathrm{mem}}(t)\) provides a useful internal signal for detecting distribution shifts. Simple per-channel statistics derived from these membrane dynamics enable OOD detection. To evaluate this approach, we introduce Gen1-C, an event-camera corruption benchmark developed upon the Prophesee Gen1 automotive detection dataset, containing six sensor-motivated histogram-level stress tests at five severity levels. We further propose the Multi-Descriptor Deviation (MDD), a corruption-blind method that operates on membrane-potential statistics. At the highest corruption severity, MDD achieves an AUROC of more than 0.88 on five of the six corruptions using only a bounded 64-frame observation window. Notably, the remaining corruption is also the one that has the smallest effect on the underlying detector. These results show that the temporal membrane-potential dynamics can provide an effective and low-cost signal for OOD detection in SNN-based event perception.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00350v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03224v1cs.CV공통 태그 Anomaly Detection, Out-of-Distribution Detection

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2607.10506v1cs.LG공통 태그 Anomaly Detection, Out-of-Distribution Detection

노이즈로부터 학습: 제한 볼츠만 머신에서의 유효 랭크 붕괴와 분포 외 입력 거부

Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines

제한 볼츠만 머신(RBM)은 가시 및 은닉 구성에 대한 에너지 경관을 형성하여 데이터를 표현하지만, 분포 외(OOD) 입력에 대한 판별적 사용은 취약하다: 학습 분포 밖의 샘플이 거부되지 않고 학습된 클래스 분지 중 하나로 흡수될 수 있다. 본 연구에서는 가시-은닉 가중치 행렬 $W$로부터 유도되는 가시-가시 상호작용 $J=WW^{T}$의 스펙트럼을 통해 이 실패 양상을 분석한다. 마르첸코-파스투르(Marchenko-Pastur) 랜덤 행렬 기준과 비교할 때, 일반적인 학습은 스펙트럼 가중치를 약하고 벌크 호환적인 다수의 방향으로 분산시켜 $J$의 유효 랭크를 증가시킨다. 학습 중 보조 랜덤 이진 이미지를 거부 레이블에 할당하면, 학습된 상호작용은 유효 랭크 붕괴를 겪는다: 약한 벌크 유사 모드가 감소하고 스펙트럼 가중치가 더 적은 수의 지배적 고유 방향으로 집중되며, $J$의 유효 랭크가 경험적 데이터 공분산 행렬의 유효 랭크에 근접한다. 결과적으로 구성된 RBM은 MNIST 분류 정확도를 유지하면서 구조화된 OOD 이미지 데이터셋을 거부하며, 이는 랜덤 보조 노출이 에너지 기반 분류기의 상호작용 스펙트럼과 자유 에너지 경관 모두를 재형성할 수 있음을 보여준다.

arXiv:2607.09114v1cs.CV공통 태그 Anomaly Detection, event camera

이벤트 스트림 기반 멀티모달 비디오 이상 탐지: 벤치마크 데이터셋과 알고리즘

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

비디오 이상 탐지(VAD)는 자동화된 감시에 있어 핵심적인 기술이지만, 가시광선 영상에만 의존할 경우 조명 변화, 빠른 움직임, 복잡한 배경 등 어려운 환경에서 취약하다는 한계가 있다. 이러한 한계를 극복하기 위해, 우리는 생체 영감 기반의 이벤트 카메라로 촬영된 일반 영상과 이벤트 스트림을 함께 활용하는 이벤트 강화 VAD 프레임워크인 EVAD를 제안한다. 이벤트 센서는 높은 시간 해상도로 밝기 변화를 비동기적으로 포착하여 모션 블러 및 극단적인 조명 환경에 강인하며, 영상 기반 시각 정보를 보완하는 동작 현저성 단서를 제공한다. 멀티모달 VAD 연구를 지원하기 위해, 다양한 조명 수준, 동작 패턴, 배경 복잡도 하에서 수집된 63억 개의 이벤트와 376,368개의 비디오 프레임으로 구성된 대규모 가시광-이벤트 벤치마크 데이터셋을 구축함으로써, 이벤트 기반 이상 탐지를 위한 현실적이고 확장 가능한 데이터셋의 공백을 채운다. 이 데이터셋을 기반으로, 이벤트 스트림, 가시광 영상, 텍스트 설명 간의 의미론적 임베딩을 정렬하여 판별력 있는 이벤트 표현을 학습하는 대조적 멀티모달 사전학습 프레임워크를 설계한다. 이후 적응형 융합 모듈이 이벤트 기반 시간적 단서와 영상 기반 공간적 의미론을 동적으로 통합하여 환경 교란에 대한 강인성을 향상시킨다. 벤치마크 및 제안된 TJUTCM Pha 데이터셋에 대한 실험 결과, E-VAD가 기존 방법들을 일관되게 능가함을 보여주며, 실제 환경에서의 VAD를 위한 이벤트 기반 센싱의 효과성을 검증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.