arXiv:2610.15968v1 cs.LG

스파이킹 트랜스포머의 소프트맥스-프리 어텐션: 이준위 시스템의 영온도 극한

Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems

Roberto C. Sotero, Pouya Taghipour, Jose M. Sanchez-Bornot

제출 2026-10-11

한국어 초록

스파이킹 트랜스포머(Spiking Transformer)는 소프트맥스 정규화를 포기하고 임계값 기반의 이진(binary) 어텐션을 사용함으로써 에너지 효율성을 달성한다. 그러나 이러한 제거는 정규화된 측도(normalized measure)와 분배함수(partition function)가 더 이상 존재하지 않게 되면서, 어텐션 네트워크를 분석하는 데 사용되던 열역학적 프레임워크를 무너뜨린다. 우리는 소프트맥스 없는 스파이킹 어텐션이 독립적인 이준위 시스템들의 곱의 영온도 극한과 정확히 동일하게 작동함을 증명함으로써 이 이론적 기반을 복원한다. 이 대응관계는 모든 입력에 대해 스파이킹 어텐션을 열역학적 상태도(phase diagram)의 동결된 질서상(frozen ordered phase)에 엄격하게 위치시킨다. 그 결과, 어텐션을 구성하는 데 필요한 엔트로피적 비용은 붕괴하며, 그 자리를 활동전위(action potential) 생성에 의해 결정되는 란다우어(Landauer) 유형의 물리적 하한이 대신하게 된다. 더 나아가, 이러한 질서상 고정(pinning)은 대리 기울기(surrogate gradient) 소실로 인한 최적화의 어려움을 수학적으로 설명한다. 우리는 전진 이완(forward-relaxation) 실험을 통해 이 이론을 검증하며, 표준 어텐션과 뉴로모픽(neuromorphic) 어텐션 메커니즘을 통합된 열역학적 축 위에 위치시킨다.

원문 초록

Spiking Transformers achieve energy efficiency by discarding softmax normalization in favor of thresholded, binary attention. However, this removal breaks the thermodynamic framework used to analyze attention networks, as the normalized measure and partition function cease to exist. We restore this theoretical foundation by proving that softmax-free spiking attention operates exactly as the zero-temperature limit of a product of independent two-level systems. This correspondence places spiking attention strictly in the frozen ordered phase of the thermodynamic phase diagram for all inputs. Consequently, the entropic cost of organizing attention collapses, replaced by a Landauer-type physical floor governed by action-potential generation. Furthermore, this ordered-phase pinning mathematically explains the optimization difficulty caused by vanishing surrogate gradients. We validate this theory with forward-relaxation experiments, placing both standard and neuromorphic attention mechanisms on a unified thermodynamic axis.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15968v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01418v2cs.AI공통 태그 spiking neural network, neuromorphic computing

SpikeMoE: 유연한 스파이킹 전문가 혼합을 위한 뇌 모사 경쟁적 라우팅

SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts

스파이킹 신경망(SNN)은 뉴런 수준에서 생물학적으로 영감을 받은 동역학을 통해 이벤트 기반 연산을 가능하게 하는 반면, 전문가 혼합(MoE)은 모델 수준에서 전문가 선택을 통해 조건부 연산을 수행합니다. 이들의 장점을 결합하면 유연한 신경망 구조를 구축할 수 있는 잠재력이 생깁니다. 그러나 핵심적인 과제는 스파이킹 활동을 기반으로 하는 전문가 선택 메커니즘을 설계하는 데 있습니다. 이를 해결하기 위해 본 논문에서는 해마 CA1 영역에서 관찰되는 경쟁-억제(competition-inhibition)에서 영감을 얻은 스파이크 기반 k-WTA 라우터를 도입합니다. 이 라우터는 측두 억제(lateral inhibition)와 불응기(refractory period)를 결합하여 이산적인 스파이크 수에 따라 상위 K개(Top-K) 전문가를 선택합니다. 이를 바탕으로 뉴런 수준의 스파이킹 동역학과 모델 수준의 전문가 선택을 통합하는 프레임워크인 SpikeMoE를 제안합니다. 또한 멀티모달 과제에서 불완전한 다중 감각 입력을 처리하기 위해, 관측된 모달리티 풀의 경험적 프로토타입과 모달리티별 학습 가능한 임베딩(embedding)을 결합하여 결측 모달리티 표현을 구축하는 2단계 결측 모달리티 모델링 모듈을 SpikeMoE에 추가로 탑재했습니다. 비전, 언어 및 멀티모달 벤치마크(benchmark)에 대한 실험 결과는 SpikeMoE가 SNN 베이스라인 중 최고 수준의 성능을 달성하고, 이에 상응하는 인공신경망(ANN)의 성능과 일치하거나 이를 능가하며, 다양한 결측 모달리티 조건 전반에서 견고성을 유지함을 보여줍니다. 이러한 결과는 성능과 에너지 효율성 간의 우수한 절충점(trade-off)을 입증하여, 스파이킹 동역학과 희소 전문가 연산의 통합 타당성을 검증하고 에너지 효율적인 뇌 모사 컴퓨팅을 위한 유망한 접근법으로서 SpikeMoE의 가치를 부각합니다.

arXiv:2610.01403v1cs.AI공통 태그 spiking neural network, spiking transformer

대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화

Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.

arXiv:2607.12901v1cs.AR공통 태그 spiking neural network, neuromorphic computing

적응형 델타 및 펄스 주파수 인코딩을 갖춘 32채널 이벤트 기반 생체 신호 아날로그 프론트엔드

A 32-channel event-based bio-signal analog front-end with adaptive delta and pulse frequency encoding

저전력 이벤트 기반 아날로그 프론트엔드(AFE)는 효율적인 종단 간(end-to-end) 뉴로모픽 신호 처리 시스템 구축에 필수적이다. 본 논문에서는 생체의학 신호 취득 및 인코딩에 최적화된 이벤트 기반 AFE 응용 특화 집적 회로(ASIC)를 제안한다. 해당 칩은 32개의 독립적으로 프로그래밍 가능한 입력 채널을 갖추며, 펄스 주파수 변조(PFM) 및 적응형 비동기 델타 변조기(aADM) 회로로 구성된 이중 모드 인코딩 메커니즘 출력을 제공한다. aADM 인코더는 입력 신호 포락선에 따라 실시간으로 인코딩 데이터율을 조절하는 자동 스케일링 메커니즘을 제공하여, 저전력 정보 전송을 위한 매우 높은 데이터 압축을 가능하게 한다. 이 접근법은 뇌-컴퓨터 인터페이스(BCI)에서의 온라인 처리를 위한 신경 신호의 적응형 무선 통신으로 나아가는 길을 연다. 180 nm CMOS 공정으로 제작된 제안 ASIC는 최신 스파이킹 신경망(SNN) 뉴로모픽 프로세서와 호환되는 고도로 구성 가능한 인터페이스를 제공한다.

arXiv:2607.02753v1cs.NE공통 태그 spiking neural network, neuromorphic computing

뉴로모픽 하드웨어에서 극좌표 궤적을 위한 스파이킹 시퀀스 생성기

A Spiking Sequence Generator for Polar Trajectories on Neuromorphic Hardware

크기, 중량, 전력 제약이 있는 시스템을 위한 뉴로모픽 컨트롤러는 에너지 효율적이면서도 시스템 역학 수준에서 해석 가능한 신경망 아키텍처를 필요로 한다. 그러나 기존 접근법은 해석 가능성이 제한된 엔드투엔드 학습된 스파이킹 네트워크에 의존하거나, 뉴로모픽 역학을 완전히 활용하지 못하는 변환된 고전 컨트롤러에 의존한다. 우리는 극좌표 궤적을 생성하기 위한 스파이킹 신경망(SNN) 아키텍처를 제시하며, 신경 활성의 제어된 전환을 유도하는 보조 집단을 갖춘 승자독식(WTA) 아키텍처를 사용한다. 이러한 집단 역학에 대한 튜닝 규칙을 제시하고, 분로 억제(shunting inhibition)의 한 형태를 활용하여 생성되는 극좌표 궤적의 방향, 속도, 반경을 독립적으로 제어할 수 있도록 한다. 해당 신경망을 SpiNNaker2 뉴로모픽 프로세서에 구현하여, 기존 컴퓨팅 플랫폼 대비 실시간 스텝 시간에서 2~3 자릿수, 에너지 소비에서 3~4 자릿수의 감소를 달성함을 보인다.

arXiv:2606.28600v1cs.NE공통 태그 spiking neural network, neuromorphic computing

적응형 심부 뇌 자극을 위한 뉴로모픽 에너지 인식 학습

Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation

뉴로모픽 및 엣지 컴퓨팅 연구는 신경망 컨트롤러의 추론 비용 절감에 집중해 왔으나, 물리적 폐루프 시스템에서는 액추에이터가 효율적인 컨트롤러에 맞먹거나 이를 초과하는 에너지를 소비할 수 있다. 따라서 효율적인 컨트롤러는 필요조건이지만 충분조건은 아니며, 추론이 더 이상 지배적이지 않게 되면 액추에이터가 절감 대상이 되는 비용으로 부각된다. 본 논문에서는 액추에이터 에너지를 강화학습 보상에 직접 통합하는 접근법인 에너지 인식 학습(energy-aware learning)을 소개하고, 이를 파킨슨병 치료를 위한 폐루프 심부 뇌 자극(DBS)에 적용하여 시연한다. 생물물리학적 피질-기저핵-시상 회로 모델에서 훈련된 심층 스파이킹 Q-네트워크는, 지속적 DBS 대비 자극 전하량을 80.0% 줄이면서 병리적 알파-베타 진동을 45.2% 억제하는 방법을 학습한다. 희소성 제약 지식 증류를 통해 정책을 SynSense XyloAudio 3 뉴로모픽 프로세서에 0.52 mW 추론 전력으로 압축하며, 이는 기존 엣지 하드웨어 상의 동등한 인공 신경망 대비 추론당 에너지를 28.1배 낮춘다. 자극 에너지와 추론 효율을 공동 최적화함으로써, 본 프레임워크는 이식형 신경 조절 장치의 두 가지 주요 전력 수요를 동시에 해결한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.