스파이킹 트랜스포머(Spiking Transformer)는 소프트맥스 정규화를 포기하고 임계값 기반의 이진(binary) 어텐션을 사용함으로써 에너지 효율성을 달성한다. 그러나 이러한 제거는 정규화된 측도(normalized measure)와 분배함수(partition function)가 더 이상 존재하지 않게 되면서, 어텐션 네트워크를 분석하는 데 사용되던 열역학적 프레임워크를 무너뜨린다. 우리는 소프트맥스 없는 스파이킹 어텐션이 독립적인 이준위 시스템들의 곱의 영온도 극한과 정확히 동일하게 작동함을 증명함으로써 이 이론적 기반을 복원한다. 이 대응관계는 모든 입력에 대해 스파이킹 어텐션을 열역학적 상태도(phase diagram)의 동결된 질서상(frozen ordered phase)에 엄격하게 위치시킨다. 그 결과, 어텐션을 구성하는 데 필요한 엔트로피적 비용은 붕괴하며, 그 자리를 활동전위(action potential) 생성에 의해 결정되는 란다우어(Landauer) 유형의 물리적 하한이 대신하게 된다. 더 나아가, 이러한 질서상 고정(pinning)은 대리 기울기(surrogate gradient) 소실로 인한 최적화의 어려움을 수학적으로 설명한다. 우리는 전진 이완(forward-relaxation) 실험을 통해 이 이론을 검증하며, 표준 어텐션과 뉴로모픽(neuromorphic) 어텐션 메커니즘을 통합된 열역학적 축 위에 위치시킨다.
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.
정확하고 효율적인 시계열 예측은 특히 다변량 환경 설정에서 고전 및 양자 신경망 아키텍처 모두에게 여전히 어려운 과제입니다. 본 연구는 양자 누적-방전(Quantum Leaky Integrate-and-Fire, QLIF) 스파이킹 신경망(SNN)을 시계열 회귀 태스크, 특히 단기 다변량 기상 예측에 맞게 적용합니다. 우리는 QLIF를 단순 분류(classification)를 넘어 연속값 예측 문제로의 적용 가능성을 입증하며 확장합니다. QLIF-CAST 모델은 뉴런의 흥분 상태를 R_x 회전 게이트 및 T1 이완 감쇠(relaxation decay)에 의해 구동되는 단일 큐비트 양자 중첩으로 인코딩하며, 하이브리드 양자-고전 순환 아키텍처 내에 임베딩됩니다. 본 연구에서는 두 가지 구별된 평가를 수행합니다. 첫째, 다변량 기상 데이터셋에서 매개변수를 일치시킨 고전적 LIF 기준선(baseline)과 통제된 비교를 수행한 결과, QLIF-CAST는 MSE를 15.4%, MAE를 4.4% 낮추어 양자 뉴런 역학이 고전적 동등물 대비 예측 오차를 줄임을 입증합니다. 둘째, 대기질 및 풍속 벤치마크에서 최첨단 양자 LSTM(QLSTM) 및 양자 신경망(QNN) 모델과의 교차 도메인 비교 분석을 통해 QLIF-CAST가 최대 94% 단축된 학습(training) 시간 내에 수렴하여 속도-오차 트레이드오프 공간에서 독보적인 위치를 차지함을 보여줍니다. IBM Marrakesh(156-큐비트 QPU)에서의 하드웨어 검증을 통해 시뮬레이션과의 평균 편차가 1.2%에 불과한 신뢰할 수 있는 회로 실행을 확인했습니다.
스파이킹 신경망(SNN)은 뉴런 수준에서 생물학적으로 영감을 받은 동역학을 통해 이벤트 기반 연산을 가능하게 하는 반면, 전문가 혼합(MoE)은 모델 수준에서 전문가 선택을 통해 조건부 연산을 수행합니다. 이들의 장점을 결합하면 유연한 신경망 구조를 구축할 수 있는 잠재력이 생깁니다. 그러나 핵심적인 과제는 스파이킹 활동을 기반으로 하는 전문가 선택 메커니즘을 설계하는 데 있습니다. 이를 해결하기 위해 본 논문에서는 해마 CA1 영역에서 관찰되는 경쟁-억제(competition-inhibition)에서 영감을 얻은 스파이크 기반 k-WTA 라우터를 도입합니다. 이 라우터는 측두 억제(lateral inhibition)와 불응기(refractory period)를 결합하여 이산적인 스파이크 수에 따라 상위 K개(Top-K) 전문가를 선택합니다. 이를 바탕으로 뉴런 수준의 스파이킹 동역학과 모델 수준의 전문가 선택을 통합하는 프레임워크인 SpikeMoE를 제안합니다. 또한 멀티모달 과제에서 불완전한 다중 감각 입력을 처리하기 위해, 관측된 모달리티 풀의 경험적 프로토타입과 모달리티별 학습 가능한 임베딩(embedding)을 결합하여 결측 모달리티 표현을 구축하는 2단계 결측 모달리티 모델링 모듈을 SpikeMoE에 추가로 탑재했습니다. 비전, 언어 및 멀티모달 벤치마크(benchmark)에 대한 실험 결과는 SpikeMoE가 SNN 베이스라인 중 최고 수준의 성능을 달성하고, 이에 상응하는 인공신경망(ANN)의 성능과 일치하거나 이를 능가하며, 다양한 결측 모달리티 조건 전반에서 견고성을 유지함을 보여줍니다. 이러한 결과는 성능과 에너지 효율성 간의 우수한 절충점(trade-off)을 입증하여, 스파이킹 동역학과 희소 전문가 연산의 통합 타당성을 검증하고 에너지 효율적인 뇌 모사 컴퓨팅을 위한 유망한 접근법으로서 SpikeMoE의 가치를 부각합니다.
동적 그래프 표현 학습은 구조적 관계와 시간적 진화를 모두 포착해야 하지만, 기존 접근 방식은 핵심적인 트레이드오프에 직면해 있습니다. 어텐션(attention) 기반 방법은 O(T^2) 복잡도로 표현력을 제공하는 반면, 순환(recurrent) 아키텍처는 그래디언트(gradient) 병리 현상과 조밀한 상태 저장 문제로 어려움을 겪습니다. 스파이킹 신경망(SNN)은 이벤트 기반의 효율성을 제공하지만 순차적 전파, 이진 정보 손실(loss), 전역 컨텍스트가 결여된 국소 집계로 인해 제약을 받습니다. 본 논문에서는 채널별 멤브레인 동역학을 갖춘 학습 가능한 LIF 뉴런, 연속형 특징에 대한 멀티헤드 공간 어텐션 집계, 경량 트랜스포머(Transformer) 시간 인코더를 통합한 적응형 스파이킹 그래프 신경망인 ChronoSpike를 제안합니다. 이러한 설계를 통해 O(T.d)의 활성화/상태 메모리와 본 연구에서 평가된 기간 동안 작게 유지되는 노드(node)당 추가 O(T^2) 어텐션 텀만으로 세밀한 국소 모델링 및 장기 의존성 포착이 가능해집니다. ChronoSpike는 그래프 크기와 무관하게 105K개의 일정한 매개변수(parameter) 예산 내에서 순환 방식보다 3~10배 빠른 학습(training)을 달성하면서, 세 개의 대규모 벤치마크에서 12개의 최고 수준(SOTA) 베이스라인 대비 평균 2.0%의 Macro-F1 및 2.4%의 Micro-F1 성능 향상을 보입니다. 또한 멤브레인 전위의 유계성, 수축 인자 \r{ho}<1 하에서의 그래디언트 흐름 안정성, BIBO 안정성에 대한 이론적 보장을 제공합니다. 해석 가능성 분석 결과, 이질적인 시간 수용장과 83~88%의 희소성(sparsity)을 지닌 학습된 초두 효과(primacy effect)가 확인되었습니다. 코드는 다음 링크에서 공개되어 있습니다: https://github.com/Abrar2652/ChronoSpike
스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.
본 논문에서는 현재 세계 상태에서 시작하여 외부 세계 상태의 시퀀스를 예측하도록 설계된 스파이킹 신경망(SNN)을 제시합니다. 이 SNN은 세계 역학(dynamics) 모델을 직접 생성하지 않고, 대신 다음 세계 상태를 예측하도록 학습된 SNN을 포함하며 예측된 세계 상태의 연쇄를 형성하는 데 필요한 모든 메커니즘을 제공합니다. 이러한 메커니즘은 전적으로 스파이킹 기반이며, 스파이킹 뉴런 앙상블(ensemble)로 구현됩니다. 본 논문은 이러한 신경 구조를 설명하고 고전적인 강화학습(RL) 벤치마크인 아타리(ATARI) 핑퐁에서 그 동작을 테스트합니다.
Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings
제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.
자율 주행에는 정밀하고 효율적인 시맨틱 분할(semantic segmentation)이 필요하지만, 기존의 프레임 기반 접근법은 모션 블러(motion blur), 글레어(glare), 지연(latency), 그리고 일반 카메라의 낮은 시간 해상도(20-30 FPS)로 인해 여전히 한계를 가지며, 이는 프레임 간 정보 손실로 이어진다. 이벤트 카메라(event camera)는 비동기적으로 밝기 변화를 캡처하며 높은 시간 해상도, 높은 다이내믹 레인지(dynamic range), 희소(sparse) 출력을 제공하는 대안적 센싱 방식으로 부상하였다. 그러나 대부분의 분할 방법이 조밀한(dense) 프레임 데이터를 위해 설계되어 있기 때문에, 이벤트 기반 알고리즘은 정확도 면에서 여전히 프레임 기반 알고리즘에 미치지 못한다. 이러한 한계를 극복하기 위해, 우리는 기존의 프레임 기반 카메라와 이벤트 기반 카메라를 결합한 하이브리드 비전 아키텍처를 제안한다. 이 시스템은 두 가지 상호 보완적인 구성 요소를 통합한다: (1) 모션 추정을 위한 42k 파라미터의 컴팩트한 스파이킹 신경망(Spiking Neural Network, SNN), (2) 프레임 기반 시맨틱 분할을 위한 0.84M 파라미터의 경량 이벤트 기반 SNN으로, 프레임 사이의 모션을 보간(interpolate)하여 분할 결과를 정제한다. 프레임 간(inter-frame) 분할을 예측함으로써, 본 프레임워크는 추론당 1.87 mJ 미만의 에너지 소비로 최대 500 Hz의 분할 속도를 달성하며, 동시에 최대 200 Hz 주파수에서 실시간 GPU 실행을 유지한다. 또한, 본 접근법은 블러나 과다 노출의 영향을 받은 프레임에서 발생하는 정보 손실을 보상하여, 까다로운 조건에서도 더욱 강건한 인지(perception)를 가능하게 한다.
적외선 및 가시광선 영상 융합(IVIF)은 두 모달리티의 상보적 정보를 더 풍부한 장면 내용을 갖는 단일 영상으로 통합한다. 기존 방법은 대부분 모든 활성화에 대해 밀집적으로 연산하는 인공 신경망(ANN)을 기반으로 구축되어 있는 반면, 스파이킹 신경망(SNN)은 희소한 이진 스파이크를 통해 통신하며 스파이크가 발생하는 위치와 시점에서만 연산하여, 보다 에너지 효율적인 융합의 경로를 제공한다. 그러나 SNN을 IVIF에 직접 적용하면 근본적인 긴장이 발생한다: 교차 모달 융합은 두 모달리티의 세밀한 응답에 의존하는 반면, 이진 스파이크는 발화 임계값 이하에 남아 있는 상보적 단서를 버릴 수 있다. 막전위는 발화 전에 이러한 임계 이하 응답을 보존하여, 이 단계에서 통합될 때 두 모달리티가 공동으로 출력을 형성할 수 있게 한다. 이를 바탕으로, 우리는 막전위 수준에서 직접 교차 모달 융합을 수행하는 스파이킹 신경망인 CIS-Fuse를 제안한다. 핵심은 전류 주입 스파이킹(CIS) 연산자로, 한 모달리티를 다른 모달리티의 구동 뉴런에 게이트된 보조 전류로 주입하여 두 모달리티가 스파이크 발화 전에 통합되도록 하며, 채널별 학습 가능한 주입 강도가 변조 크기를 적응적으로 조절한다. CIS를 기반으로, 양방향 교차 모달 융합(BCMF) 모듈을 구성하고 비대칭적 쌓기 깊이를 갖는 이중 분기 아키텍처에 배치하여, 두 분기가 명확한 기능적 특화를 발달시킨다. 4개의 IVIF 벤치마크와 하류 탐지 및 분할에 대한 광범위한 실험 결과, CIS-Fuse는 스파이크 기반 연산의 에너지 효율성을 계승하면서 최신 ANN 기반 방법과 동등한 융합 품질을 달성하며, 유사한 크기의 ANN 기반 DCEvo 대비 추론 에너지가 대략 한 자릿수 낮음을 보여준다. 코드는 논문 발표 시 공개될 예정이다.
비디오 디레인은 악천후 환경에서 신뢰할 수 있는 인식을 위해 비가 내리는 영상으로부터 깨끗한 시각적 콘텐츠를 복원하는 것을 목표로 한다. 기존 방법은 주로 RGB 시퀀스와 시간적 중복성에 의존하지만, RGB만으로 복원하는 방식은 빗줄기, 텍스처, 경계, 움직임, 가림 등이 유사한 시각적 패턴을 공유할 수 있는 동적 비 환경에서는 모호성이 남아 있다. 이벤트 카메라(event camera)는 높은 시간 해상도의 운동 민감 보조 단서를 제공하지만, 이벤트 스트림에는 센서 노이즈와 배경 유발 응답도 포함되므로 RGB-Event를 직접 융합하면 교차 모달 간섭이 발생할 수 있다. 이 문제를 해결하기 위해, 상호작용 전 분해(decompose-before-interact) 패러다임 기반의 점진적 RGB-Event 비디오 디레인 프레임워크인 RainDancer를 제안한다. 핵심 아이디어는 교차 모달 상호작용 전에 각 모달리티 내에서 빗줄기와 배경 성분을 분리하는 것이다. RGB 분기에서는 프레임 특징을 점진적으로 빗줄기와 배경 표현으로 분해한다. 이벤트 분기에서는 빗줄기 지향 스파이킹 신경망(spiking neural network) 모듈이 빗줄기 움직임과 연관된 희소하고 버스트형 이벤트 동역학을 포착한다. 그런 다음 구조 보존과 빗줄기 억제를 위해 의미적으로 정렬된 표현 간 구성요소 수준 융합을 수행한다. 또한 희소 이벤트 재구성, 구조적 일관성, 그래디언트 방향을 정규화하기 위해 이벤트 도메인 감독을 도입한다. 합성 및 실제 RGB-Event 비디오 디레인 데이터셋에 대한 실험은 우수한 정량적 성능, 시각적 품질, 하류 인식 견고성을 보여준다. 코드는 https://github.com/AE86-plus/RainDancer 에서 이용 가능하다.
저전력 이벤트 기반 아날로그 프론트엔드(AFE)는 효율적인 종단 간(end-to-end) 뉴로모픽 신호 처리 시스템 구축에 필수적이다. 본 논문에서는 생체의학 신호 취득 및 인코딩에 최적화된 이벤트 기반 AFE 응용 특화 집적 회로(ASIC)를 제안한다. 해당 칩은 32개의 독립적으로 프로그래밍 가능한 입력 채널을 갖추며, 펄스 주파수 변조(PFM) 및 적응형 비동기 델타 변조기(aADM) 회로로 구성된 이중 모드 인코딩 메커니즘 출력을 제공한다. aADM 인코더는 입력 신호 포락선에 따라 실시간으로 인코딩 데이터율을 조절하는 자동 스케일링 메커니즘을 제공하여, 저전력 정보 전송을 위한 매우 높은 데이터 압축을 가능하게 한다. 이 접근법은 뇌-컴퓨터 인터페이스(BCI)에서의 온라인 처리를 위한 신경 신호의 적응형 무선 통신으로 나아가는 길을 연다. 180 nm CMOS 공정으로 제작된 제안 ASIC는 최신 스파이킹 신경망(SNN) 뉴로모픽 프로세서와 호환되는 고도로 구성 가능한 인터페이스를 제공한다.
표면 근전도(sEMG)를 통한 근육 피로 감지는 스포츠, 재활, 웨어러블 건강 모니터링 분야에서 필수적이다. 피로의 정확하고 신속한 감지는 부상 예방, 신체 수행 능력 최적화(optimization), 그리고 장시간 활동 중 사용자 안전 확보에 매우 중요하다. 그러나 기존의 심층 학습 모델은 높은 연산 비용과 대규모 데이터 의존성으로 인해 이 과제에 적합하지 않은 경우가 많다. 본 연구에서는 희소한 이벤트 기반 연산과 시간적 모델링을 활용하는 스파이킹 신경망(SNN)에 기반한 에너지 효율적인 근육 피로 감지 프레임워크를 제안한다. 또한 노이즈 조건에서의 강건성을 향상시키기 위해 다수의 정규화 항을 결합한 양자화 호환 학습 방식(SDH)을 새롭게 도입한다. 두 개의 공개 sEMG 데이터셋에서 광범위한 기준 모델들과 물리적으로 동기화된 섭동(perturbation)을 포함한 7가지 노이즈 조건 하에 평가한 결과, 양자화된 SNN은 강력한 기준 모델들과 동등하거나 이를 상회하는 성능을 보이면서도 다양한 노이즈 환경에서 더 안정적이며 예상 에너지 소비를 최대 201.77배 절감하였다. 이러한 결과는 저전력 웨어러블 시스템에서의 실시간 배포를 위한 프레임워크의 강력한 가능성을 입증한다.
이벤트 기반 비전과 스파이킹 신경망(SNN)은 엄격한 지연 시간 및 에너지 제약 하의 엣지 인텔리전스에 점점 더 많이 채택되고 있다. 그러나 이벤트 기반 SNN 객체 검출 모델이 가용성 백도어 공격에 취약하다는 점은 아직 충분히 연구되지 않았다. 본 논문은 SNN 기반 객체 검출 모델을 표적으로 하는 가용성 백도어 공격인 이벤트 버스트 트리거(EBT, Event Burst Trigger)를 제안한다. EBT는 정교하게 설계된 이벤트 기반 트리거를 학습 데이터에 주입하며, 이 트리거는 추론 시 시간적으로 집중된 이벤트 스트림을 유발한다. 이러한 버스트형 활성화는 유령(즉, 허위) 객체 후보의 수를 증가시키고, 결과적으로 후처리 단계, 특히 비최대 억제(NMS, Non-Maximum Suppression)의 연산 비용을 팽창시킨다. 우리는 모델 아키텍처, 손실 함수, 추론 파이프라인의 수정을 요구하지 않는 포이즌-온리(poison-only) 위협 모델 하에서, 최신 SNN 기반 객체 검출기인 SpikeYOLO를 대상으로 EBT를 평가한다. 실험 결과, 검출 정확도는 [email omitted] 0.099 미만 감소하여 대체로 유지되는 반면, NMS 단계의 지연 시간은 최대 38% 증가하는 것으로 나타났다. 이는 NMS가 이벤트 기반 SNN 객체 검출에서 지배적인 가용성 병목 지점이 될 수 있음을 시사한다. 엣지 플랫폼에서의 실험은 제안된 공격이 자원 사용량에 뚜렷한 피크를 유발하지 않으면서도 기준선 자원 활용도를 높이고 스케줄링 여유(slack)를 감소시킨다는 것을 추가로 보여준다. 또한 STRIP 기반 백도어 탐지는 제안된 공격을 정상 입력으로부터 신뢰성 있게 구별하는 데 실패한다. 이러한 결과는 이벤트 기반 SNN 객체 검출 시스템에서 이전까지 충분히 탐구되지 않았던 가용성 백도어 위협을 규명한다.
크기, 중량, 전력 제약이 있는 시스템을 위한 뉴로모픽 컨트롤러는 에너지 효율적이면서도 시스템 역학 수준에서 해석 가능한 신경망 아키텍처를 필요로 한다. 그러나 기존 접근법은 해석 가능성이 제한된 엔드투엔드 학습된 스파이킹 네트워크에 의존하거나, 뉴로모픽 역학을 완전히 활용하지 못하는 변환된 고전 컨트롤러에 의존한다. 우리는 극좌표 궤적을 생성하기 위한 스파이킹 신경망(SNN) 아키텍처를 제시하며, 신경 활성의 제어된 전환을 유도하는 보조 집단을 갖춘 승자독식(WTA) 아키텍처를 사용한다. 이러한 집단 역학에 대한 튜닝 규칙을 제시하고, 분로 억제(shunting inhibition)의 한 형태를 활용하여 생성되는 극좌표 궤적의 방향, 속도, 반경을 독립적으로 제어할 수 있도록 한다. 해당 신경망을 SpiNNaker2 뉴로모픽 프로세서에 구현하여, 기존 컴퓨팅 플랫폼 대비 실시간 스텝 시간에서 2~3 자릿수, 에너지 소비에서 3~4 자릿수의 감소를 달성함을 보인다.
스파이킹 신경망(SNN)은 신경 렌더링을 위한 에너지 효율적인 컴퓨팅 패러다임을 제공하지만, 기존 스파이크 기반 Neural Radiance Field(NeRF) 모델은 모든 장면에 고정된 추론 타임스텝을 사용한다. 이 고정된 시간적 예산은 비효율적인데, NeRF가 장면별 학습 패러다임을 따르며 장면마다 렌더링 품질을 유지하는 데 필요한 시간적 용량이 다르기 때문이다. 본 논문은 스파이크 기반 NeRF를 위한 장면별 적응형 타임스텝 학습 프레임워크인 사전학습 기반 적응형 타임스텝 조정(PATA, Pretraining-based Adaptive Time-step Adjustment)을 제안한다. PATA는 목표 추론 타임스텝을 학습 가능한 변수로 매개변수화하고 2단계 학습 과정을 통해 이를 최적화한다. 하이브리드 입력 모드는 초기 타임스텝 출력을 강화하는 한편, 전체 스텝 소프트 지도, 평활화된 렌더링 손실, 시간적 예산 손실이 공동으로 렌더링 충실도를 유지하고 시간적 연산을 줄인다. 학습된 목표 타임스텝은 장면 내 모든 레이 샘플이 공유함으로써 NeRF의 병렬 렌더링 구조를 보존한다. Synthetic-NeRF, Mip-NeRF 360, LLFF에서 INGP-NeRF 및 TensoRF 백본으로 수행한 실험에서 PATA는 경쟁력 있는 렌더링 품질을 유지하면서 추론 비용을 일관되게 감소시켰다. PATA는 INGP-NeRF에서 최대 57.57%, TensoRF에서 68.90%까지 추론 에너지 추정치를 줄여, 다양한 신경 렌더링 표현에서의 효과를 입증한다.
수상돌기(dendritic) 구획의 서브임계(subthreshold) 다이나믹스가 암묵적으로 온라인 최소평균제곱(LMS) 알고리즘을 구현한다는 구조적 통찰을 바탕으로, 단일 레이어 스파이킹 신경망(SNN) 아키텍처 DendriCL을 제안하여 추론 시 가중치를 완전히 동결한 채로 Garg-2022 문맥 내 학습(ICL) 벤치마크를 해결한다. DendriCL은 기존 SNN 기반 모델들이 태스크 차원 d≥20에서 실패하는 반면 d∈{5,…,50} 전 범위에서 안정적으로 동작하며, 선형 프로브로 첨단 막전위에서 참조 LMS 궤적을 R²=0.93으로 복원해 어텐션이나 깊은 아키텍처 없이도 ICL이 가능함을 입증한다.
위상 고정 루프(phase-locked loop) 방정식의 회로 구현으로 새로운 버스팅(bursting) 전자 뉴런을 설계하는 연구로, 코사인 함수를 쌍곡탄젠트(tanh)로 대체하고 위상 변수의 무한 증가 문제를 해소하는 하이브리드 방식을 통해 수학적 기술과 하드웨어 구현이 모두 단순한 아날로그 회로를 제안한다. 제안된 회로는 원본 모델의 분기(bifurcation) 특성을 질적으로 재현하며, 단일 뉴런뿐만 아니라 소규모 신경 회로 모델링에도 활용 가능한 것으로 검증되었다.
학습된 인공 신경망(ANN)을 시그마-델타 신경망(SDNN)으로 변환하는 새로운 방법을 제안하며, Intel의 Loihi 2가 지원하는 그레이디드 스파이크(graded spike)를 활용해 시간적·공간적 희소성(temporal/spatial sparsity)을 동시에 활용한다. 드론 탐지 태스크에서 변환된 SDNN을 Loihi 2에 현장 배포하여 NVIDIA Jetson Xavier 대비 에너지-지연 곱(energy-delay product) 측면에서 유의미한 효율성 향상을 달성했다.