SpikeMoE: 유연한 스파이킹 전문가 혼합을 위한 뇌 모사 경쟁적 라우팅
SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts
한국어 초록
스파이킹 신경망(SNN)은 뉴런 수준에서 생물학적으로 영감을 받은 동역학을 통해 이벤트 기반 연산을 가능하게 하는 반면, 전문가 혼합(MoE)은 모델 수준에서 전문가 선택을 통해 조건부 연산을 수행합니다. 이들의 장점을 결합하면 유연한 신경망 구조를 구축할 수 있는 잠재력이 생깁니다. 그러나 핵심적인 과제는 스파이킹 활동을 기반으로 하는 전문가 선택 메커니즘을 설계하는 데 있습니다. 이를 해결하기 위해 본 논문에서는 해마 CA1 영역에서 관찰되는 경쟁-억제(competition-inhibition)에서 영감을 얻은 스파이크 기반 k-WTA 라우터를 도입합니다. 이 라우터는 측두 억제(lateral inhibition)와 불응기(refractory period)를 결합하여 이산적인 스파이크 수에 따라 상위 K개(Top-K) 전문가를 선택합니다. 이를 바탕으로 뉴런 수준의 스파이킹 동역학과 모델 수준의 전문가 선택을 통합하는 프레임워크인 SpikeMoE를 제안합니다. 또한 멀티모달 과제에서 불완전한 다중 감각 입력을 처리하기 위해, 관측된 모달리티 풀의 경험적 프로토타입과 모달리티별 학습 가능한 임베딩(embedding)을 결합하여 결측 모달리티 표현을 구축하는 2단계 결측 모달리티 모델링 모듈을 SpikeMoE에 추가로 탑재했습니다. 비전, 언어 및 멀티모달 벤치마크(benchmark)에 대한 실험 결과는 SpikeMoE가 SNN 베이스라인 중 최고 수준의 성능을 달성하고, 이에 상응하는 인공신경망(ANN)의 성능과 일치하거나 이를 능가하며, 다양한 결측 모달리티 조건 전반에서 견고성을 유지함을 보여줍니다. 이러한 결과는 성능과 에너지 효율성 간의 우수한 절충점(trade-off)을 입증하여, 스파이킹 동역학과 희소 전문가 연산의 통합 타당성을 검증하고 에너지 효율적인 뇌 모사 컴퓨팅을 위한 유망한 접근법으로서 SpikeMoE의 가치를 부각합니다.
원문 초록
Spiking Neural Networks (SNNs) enable event-driven computation through biologically inspired dynamics at the neuronal scale, while Mixture-of-Experts (MoE) perform conditional computation through expert selection at the model scale. Integrating their strengths offers potential for flexible neural architectures. A key challenge, however, lies in designing an expert selection mechanism based on spiking activity. To address this, we introduce a spike-based k-WTA Router inspired by competition-inhibition observed in the hippocampal CA1 region. The router incorporates lateral inhibition and refractory period to select Top-K experts according to discrete spike counts. Building on this, we present SpikeMoE, a framework that integrates neuronal-scale spiking dynamics with model-scale expert selection. To address incomplete multisensory inputs in multimodal tasks, we further equip SpikeMoE with a two-stage missing-modality modeling module that combines empirical prototypes from an observed-modality pool with modality-specific learnable embeddings to construct missing-modality representations. Experiments on vision, language, and multimodal benchmarks demonstrate that SpikeMoE achieves state-of-the-art performance among the SNN baselines, matches or exceeds the performance of ANN counterparts, and maintains robustness across diverse missing-modality conditions. These results demonstrate a favorable trade-off between performance and energy efficiency, validating the integration of spiking dynamics with sparse expert computation and highlighting SpikeMoE as a promising approach to energy-efficient brain-inspired computing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측
SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
스파이킹 트랜스포머의 소프트맥스-프리 어텐션: 이준위 시스템의 영온도 극한
Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems
스파이킹 트랜스포머(Spiking Transformer)는 소프트맥스 정규화를 포기하고 임계값 기반의 이진(binary) 어텐션을 사용함으로써 에너지 효율성을 달성한다. 그러나 이러한 제거는 정규화된 측도(normalized measure)와 분배함수(partition function)가 더 이상 존재하지 않게 되면서, 어텐션 네트워크를 분석하는 데 사용되던 열역학적 프레임워크를 무너뜨린다. 우리는 소프트맥스 없는 스파이킹 어텐션이 독립적인 이준위 시스템들의 곱의 영온도 극한과 정확히 동일하게 작동함을 증명함으로써 이 이론적 기반을 복원한다. 이 대응관계는 모든 입력에 대해 스파이킹 어텐션을 열역학적 상태도(phase diagram)의 동결된 질서상(frozen ordered phase)에 엄격하게 위치시킨다. 그 결과, 어텐션을 구성하는 데 필요한 엔트로피적 비용은 붕괴하며, 그 자리를 활동전위(action potential) 생성에 의해 결정되는 란다우어(Landauer) 유형의 물리적 하한이 대신하게 된다. 더 나아가, 이러한 질서상 고정(pinning)은 대리 기울기(surrogate gradient) 소실로 인한 최적화의 어려움을 수학적으로 설명한다. 우리는 전진 이완(forward-relaxation) 실험을 통해 이 이론을 검증하며, 표준 어텐션과 뉴로모픽(neuromorphic) 어텐션 메커니즘을 통합된 열역학적 축 위에 위치시킨다.
적응형 델타 및 펄스 주파수 인코딩을 갖춘 32채널 이벤트 기반 생체 신호 아날로그 프론트엔드
A 32-channel event-based bio-signal analog front-end with adaptive delta and pulse frequency encoding
저전력 이벤트 기반 아날로그 프론트엔드(AFE)는 효율적인 종단 간(end-to-end) 뉴로모픽 신호 처리 시스템 구축에 필수적이다. 본 논문에서는 생체의학 신호 취득 및 인코딩에 최적화된 이벤트 기반 AFE 응용 특화 집적 회로(ASIC)를 제안한다. 해당 칩은 32개의 독립적으로 프로그래밍 가능한 입력 채널을 갖추며, 펄스 주파수 변조(PFM) 및 적응형 비동기 델타 변조기(aADM) 회로로 구성된 이중 모드 인코딩 메커니즘 출력을 제공한다. aADM 인코더는 입력 신호 포락선에 따라 실시간으로 인코딩 데이터율을 조절하는 자동 스케일링 메커니즘을 제공하여, 저전력 정보 전송을 위한 매우 높은 데이터 압축을 가능하게 한다. 이 접근법은 뇌-컴퓨터 인터페이스(BCI)에서의 온라인 처리를 위한 신경 신호의 적응형 무선 통신으로 나아가는 길을 연다. 180 nm CMOS 공정으로 제작된 제안 ASIC는 최신 스파이킹 신경망(SNN) 뉴로모픽 프로세서와 호환되는 고도로 구성 가능한 인터페이스를 제공한다.
뉴로모픽 하드웨어에서 극좌표 궤적을 위한 스파이킹 시퀀스 생성기
A Spiking Sequence Generator for Polar Trajectories on Neuromorphic Hardware
크기, 중량, 전력 제약이 있는 시스템을 위한 뉴로모픽 컨트롤러는 에너지 효율적이면서도 시스템 역학 수준에서 해석 가능한 신경망 아키텍처를 필요로 한다. 그러나 기존 접근법은 해석 가능성이 제한된 엔드투엔드 학습된 스파이킹 네트워크에 의존하거나, 뉴로모픽 역학을 완전히 활용하지 못하는 변환된 고전 컨트롤러에 의존한다. 우리는 극좌표 궤적을 생성하기 위한 스파이킹 신경망(SNN) 아키텍처를 제시하며, 신경 활성의 제어된 전환을 유도하는 보조 집단을 갖춘 승자독식(WTA) 아키텍처를 사용한다. 이러한 집단 역학에 대한 튜닝 규칙을 제시하고, 분로 억제(shunting inhibition)의 한 형태를 활용하여 생성되는 극좌표 궤적의 방향, 속도, 반경을 독립적으로 제어할 수 있도록 한다. 해당 신경망을 SpiNNaker2 뉴로모픽 프로세서에 구현하여, 기존 컴퓨팅 플랫폼 대비 실시간 스텝 시간에서 2~3 자릿수, 에너지 소비에서 3~4 자릿수의 감소를 달성함을 보인다.
적응형 심부 뇌 자극을 위한 뉴로모픽 에너지 인식 학습
Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation
뉴로모픽 및 엣지 컴퓨팅 연구는 신경망 컨트롤러의 추론 비용 절감에 집중해 왔으나, 물리적 폐루프 시스템에서는 액추에이터가 효율적인 컨트롤러에 맞먹거나 이를 초과하는 에너지를 소비할 수 있다. 따라서 효율적인 컨트롤러는 필요조건이지만 충분조건은 아니며, 추론이 더 이상 지배적이지 않게 되면 액추에이터가 절감 대상이 되는 비용으로 부각된다. 본 논문에서는 액추에이터 에너지를 강화학습 보상에 직접 통합하는 접근법인 에너지 인식 학습(energy-aware learning)을 소개하고, 이를 파킨슨병 치료를 위한 폐루프 심부 뇌 자극(DBS)에 적용하여 시연한다. 생물물리학적 피질-기저핵-시상 회로 모델에서 훈련된 심층 스파이킹 Q-네트워크는, 지속적 DBS 대비 자극 전하량을 80.0% 줄이면서 병리적 알파-베타 진동을 45.2% 억제하는 방법을 학습한다. 희소성 제약 지식 증류를 통해 정책을 SynSense XyloAudio 3 뉴로모픽 프로세서에 0.52 mW 추론 전력으로 압축하며, 이는 기존 엣지 하드웨어 상의 동등한 인공 신경망 대비 추론당 에너지를 28.1배 낮춘다. 자극 에너지와 추론 효율을 공동 최적화함으로써, 본 프레임워크는 이식형 신경 조절 장치의 두 가지 주요 전력 수요를 동시에 해결한다.
통합 복소수값 신경망: 이벤트 기반 뉴로모픽 학습을 위한 크기-위상 계산 모델
Unified Complex-valued Neural Network: A Magnitude-Phase Computational Model for Event-Driven Neuromorphic Learning
인공 신경망(ANN)은 정확한 연속값 표현을 제공하는 반면, 스파이킹 신경망(SNN)은 이벤트 기반 시간적 처리를 제공하지만, 값 인코딩과 타이밍 다이나믹스를 단일 계산 구조 내에서 학습해야 할 때 두 패러다임 모두 한계에 직면한다. 본 논문은 비대칭 복소수값 상태를 통해 연속 활성화와 위상 기반 이벤트 생성을 통합하는 새로운 신경 계산 모델인 통합 복소수값 뉴런(UCN, Unified Complex-valued Neuron) 기반 신경망을 소개한다. UCN에서 크기(magnitude)는 신호 강도를 인코딩하고, 위상(phase)은 내재적 시간 진화와 값 스파이크 방출을 제어한다. 먼저 역전파(BP)와 시간에 따른 역전파(BPTT)를 결합한 기초 학습 프레임워크를 개발하여 크기 및 위상 경로를 통합적으로 최적화한다. 계산 복잡도를 줄이기 위해 이벤트 기반 적응형 위상 학습(EAPL, event-driven adaptive phase learning) 규칙을 보다 효율적인 대안으로 도입한다. 제안된 모델은 객체 추적과 Lorenz 어트랙터 학습을 통해 평가된다. 실험 결과, UCN 기반 신경망(UCNN)은 뉴로모픽 및 엣지-AI 응용을 위한 희소 이벤트 기반 계산을 유지하면서 정확하고 안정적이며 해석 가능한 시공간 학습을 제공함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.