arXiv:2611.22611v1 cs.AI

DAQ: 스파이킹 트랜스포머의 발화 결정을 정렬하는 사후 학습 양자화

DAQ: Decision-Aligned Post-Training Quantization for Spiking Transformers

Jialin Chen, Xiaochen Zhao, Aili Wang

제출 2026-11-18

한국어 초록

스파이킹 트랜스포머는 어텐션 기반 표현 학습과 희소한 스파이크 통신을 결합한다. 그러나 가중치와 막전위 변수의 저장 및 계산 비용은 여전히 크다. 학습 후 양자화(PTQ)는 이 비용을 줄이는 실용적인 방법이지만, 가중치와 막전위를 양자화하면서 뉴런의 발화 패턴을 보존하기는 어렵다. 뉴런의 발화 결정이 부동소수점 참조 모델과 일치하도록 양자화기를 보정하는 결정 정렬 학습 후 양자화(DAQ)를 제안한다. 양자화 오차가 결정 경계에서의 발화에 어떻게 영향을 주고, 순환 뉴런의 시간 단계에 걸쳐 어떻게 전파되는지 분석한다. 이를 바탕으로 양자화 모델 자체의 상태 궤적을 따라 양자화한 막전위 변수가 참조 모델과 같은 발화 결정을 내리는 영역 안에 머물도록 유도하는 목적함수를 구성한다. 여러 스파이킹 트랜스포머 아키텍처에서 이미지 분류, 의미 분할, 이벤트 기반 추적을 실험해, 가중치와 막전위 변수를 4비트로 표현할 때 DAQ가 효과적임을 보였다. FE108에서 DAQ를 SDTrack에 적용한 결과 AUC는 58.8%, PR은 90.9%였으며, 소비 에너지는 66.2% 줄었다.

원문 초록

Spiking transformers combine attention-based representation learning with sparse spike communication, yet their weights and membrane variables still incur substantial storage and computation overhead. Post-training quantization (PTQ) offers a practical way to reduce these overheads, but preserving neuronal firing under weight and membrane quantization remains challenging. In this paper, we propose Decision-Aligned Post-Training Quantization (DAQ), a method that calibrates the quantizers to align neuronal firing decisions with those of a floating-point reference. We analyze how errors from these quantizers affect firing at decision boundaries and how they propagate over time steps in recurrent neurons. Based on this analysis, we formulate an objective that encourages quantized membrane variables to remain within the reference firing regions along the quantized model's own state trajectory. Experiments across multiple spiking transformer architectures on image classification, semantic segmentation, and event-based tracking demonstrate the effectiveness of DAQ with 4-bit weights and membrane variables. On FE108, DAQ achieves 58.8\% AUC and 90.9\% PR with SDTrack, while reducing energy by 66.2\%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22611v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.