스파이킹 트랜스포머에서의 쌍별 토큰 상호작용 재고
Rethinking Pairwise Token Interaction in Spiking Transformers
스파이킹 트랜스포머(Spiking Transformers)는 기존 트랜스포머의 토큰 상호작용 메커니즘을 계승하지만, 희소한 이진 표현으로 인해 토큰 간 통신이 형성되는 방식이 근본적으로 변화합니다. 특히 스파이크 기반 쿼리-키(query-key) 매칭은 매우 희소하고 입력 의존적인 상호작용 패턴을 생성하여, 정보 전파가 일치하는 스파이크 이벤트의 순간적 가용성과 결합되도록 만듭니다. 이는 장거리 통신이 쌍별(pairwise) 스파이크 일치에만 의존하지 않는 새로운 상호작용 패러다임의 필요성을 동기부여합니다. 이에 따라 본 논문에서는 정보 전파와 문맥 선택을 분리하는 스파이크 네이티브(spike-native) 토큰 상호작용 메커니즘인 GSAP(Gated Spike Axial Propagation)을 제안합니다. GSAP은 쿼리-키 매칭을 통해 통신을 직접 결정하는 대신, 수평 및 수직 축을 따라 스파이크 기반 문맥을 먼저 전파함으로써 구조화된 순차적 전파를 통해 정보가 먼 토큰까지 도달할 수 있도록 합니다. 그런 다음 수신자 조건부 게이트(receiver-conditioned gate)가 각 토큰에서 전파된 문맥이 얼마만큼 통합될지를 결정하며, 경량 로컬 경로(local pathway)는 세밀한 이웃 정보를 보존합니다. 이러한 방식으로 GSAP은 토큰 상호작용을 '전파 후 선택(propagate-then-select)' 과정으로 재구성하여, 스파이킹 표현의 희소한 이벤트 기반 특성을 유지하면서도 구조화된 장거리 통신을 가능하게 합니다. 코드는 https://github.com/Fancyssc/GSAP 에서 확인할 수 있습니다.