ChronoSpike: 동적 그래프를 위한 적응형 스파이킹 그래프 신경망
ChronoSpike: An Adaptive Spiking Graph Neural Network for Dynamic Graphs
동적 그래프 표현 학습은 구조적 관계와 시간적 진화를 모두 포착해야 하지만, 기존 접근 방식은 핵심적인 트레이드오프에 직면해 있습니다. 어텐션(attention) 기반 방법은 O(T^2) 복잡도로 표현력을 제공하는 반면, 순환(recurrent) 아키텍처는 그래디언트(gradient) 병리 현상과 조밀한 상태 저장 문제로 어려움을 겪습니다. 스파이킹 신경망(SNN)은 이벤트 기반의 효율성을 제공하지만 순차적 전파, 이진 정보 손실(loss), 전역 컨텍스트가 결여된 국소 집계로 인해 제약을 받습니다. 본 논문에서는 채널별 멤브레인 동역학을 갖춘 학습 가능한 LIF 뉴런, 연속형 특징에 대한 멀티헤드 공간 어텐션 집계, 경량 트랜스포머(Transformer) 시간 인코더를 통합한 적응형 스파이킹 그래프 신경망인 ChronoSpike를 제안합니다. 이러한 설계를 통해 O(T.d)의 활성화/상태 메모리와 본 연구에서 평가된 기간 동안 작게 유지되는 노드(node)당 추가 O(T^2) 어텐션 텀만으로 세밀한 국소 모델링 및 장기 의존성 포착이 가능해집니다. ChronoSpike는 그래프 크기와 무관하게 105K개의 일정한 매개변수(parameter) 예산 내에서 순환 방식보다 3~10배 빠른 학습(training)을 달성하면서, 세 개의 대규모 벤치마크에서 12개의 최고 수준(SOTA) 베이스라인 대비 평균 2.0%의 Macro-F1 및 2.4%의 Micro-F1 성능 향상을 보입니다. 또한 멤브레인 전위의 유계성, 수축 인자 \r{ho}<1 하에서의 그래디언트 흐름 안정성, BIBO 안정성에 대한 이론적 보장을 제공합니다. 해석 가능성 분석 결과, 이질적인 시간 수용장과 83~88%의 희소성(sparsity)을 지닌 학습된 초두 효과(primacy effect)가 확인되었습니다. 코드는 다음 링크에서 공개되어 있습니다: https://github.com/Abrar2652/ChronoSpike