arXiv:2611.23728v1 cs.NE

AdaS-ViT: 초고에너지 효율을 갖춘 스파이킹 비전 트랜스포머를 위한 테스트 시점 적응형 라우팅

AdaS-ViT: Test-Time Adaptive Routing for Spiking Vision Transformers with Ultra-High Energy Efficiency

Zecheng Hao, Zihan Huang, Shenghao Xie, Jiyuan Zhang, Zhaofei Yu, Tiejun Huang

제출 2026-11-19

한국어 초록

스파이킹 신경망(SNN)은 이벤트 기반의 에너지 효율적인 비전을 약속하지만, 기존 스파이킹 비전 트랜스포머(S-ViT)는 대체로 스파이킹 토큰을 시간, 공간, 채널 차원에서 고정적이고 균일한 발화 방식에 국한한다. 이로 인해 발생하는 계산 중복을 억제하려면 테스트 시점에 세 축 전반에서 공동으로 작동하는 적응형 발화 메커니즘이 필요하다. 이를 위해 우리는 각 스파이킹 토큰의 어텐션 점수를 참조하여 중요한 영역은 세밀한 발화 패턴으로 라우팅하고 나머지 영역에는 에너지를 절약하는 조잡한 패턴을 할당하는 Adaptive Efficient Integrate-and-Fire(AdaE-IF) 모델을 제안한다. AdaE-IF를 기반으로, 토큰 및 채널 단위에서 선택적 스파이크 방출을 강제하는 Spiking Gated Self-Attention(S-GSA)과 Spiking Local-Gated Unit(S-LGU)을 추가로 도입한다. 우리는 앞서 언급한 메커니즘과 모듈을 AdaS-ViT에 통합한다. AdaS-ViT는 발화 정밀도와 라우팅 마스크의 공동 적응을 안정화하는 점진적 시공간 커리큘럼으로 학습되는 테스트 시점 적응형 라우팅 아키텍처이다. 다양한 데이터 규모와 모달리티에 걸친 벤치마크에서의 폭넓은 실험은 AdaS-ViT가 일관되게 매우 경쟁력 있는 성능을 달성함을 보여 준다. 특히 ImageNet-1k에서 이미지당 1.02~2.45 밀리줄만을 소비하며 32$\times$~72$\times$의 에너지당 정확도 비를 달성하여, 경제적인 추론 영역에서 작동하면서 에너지 효율의 한계를 더욱 확장한다.

원문 초록

Spiking Neural Networks (SNNs) promise event-driven and energy-efficient vision, yet existing spiking vision transformers (S-ViTs) largely confine spiking tokens to fixed and uniform firing schemes along the temporal, spatial and channel dimensions, whereas suppressing the computational redundancy thus incurred calls for adaptive firing mechanisms that operate jointly across all three axes at test time. To this end, we propose the Adaptive Efficient Integrate-and-Fire (AdaE-IF) model, which consults the attention score of each spiking token and routes salient regions to fine-grained firing patterns while assigning energy-frugal coarse patterns to the remaining regions. Building on AdaE-IF, we further introduce Spiking Gated Self-Attention (S-GSA) and Spiking Local-Gated Unit (S-LGU), which enforce selective spike emission at token and channel granularity. We integrate the aforementioned mechanisms and modules into AdaS-ViT, a test-time adaptive-routing architecture trained with a progressive spatio-temporal curriculum that stabilizes the co-adaptation of firing precision and routing masks. Extensive experiments across benchmarks spanning diverse data scales and modalities demonstrate that AdaS-ViT consistently achieves highly competitive performance. Notably, on ImageNet-1k it consumes only 1.02 to 2.45 millijoules per image and attains an accuracy-per-energy ratio of 32$\times$ to 72$\times$, operating in an economical inference regime and thereby pushing the energy-efficiency boundary further.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23728v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.