스파이킹 트랜스포머(Spiking Transformer)는 소프트맥스 정규화를 포기하고 임계값 기반의 이진(binary) 어텐션을 사용함으로써 에너지 효율성을 달성한다. 그러나 이러한 제거는 정규화된 측도(normalized measure)와 분배함수(partition function)가 더 이상 존재하지 않게 되면서, 어텐션 네트워크를 분석하는 데 사용되던 열역학적 프레임워크를 무너뜨린다. 우리는 소프트맥스 없는 스파이킹 어텐션이 독립적인 이준위 시스템들의 곱의 영온도 극한과 정확히 동일하게 작동함을 증명함으로써 이 이론적 기반을 복원한다. 이 대응관계는 모든 입력에 대해 스파이킹 어텐션을 열역학적 상태도(phase diagram)의 동결된 질서상(frozen ordered phase)에 엄격하게 위치시킨다. 그 결과, 어텐션을 구성하는 데 필요한 엔트로피적 비용은 붕괴하며, 그 자리를 활동전위(action potential) 생성에 의해 결정되는 란다우어(Landauer) 유형의 물리적 하한이 대신하게 된다. 더 나아가, 이러한 질서상 고정(pinning)은 대리 기울기(surrogate gradient) 소실로 인한 최적화의 어려움을 수학적으로 설명한다. 우리는 전진 이완(forward-relaxation) 실험을 통해 이 이론을 검증하며, 표준 어텐션과 뉴로모픽(neuromorphic) 어텐션 메커니즘을 통합된 열역학적 축 위에 위치시킨다.
스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.