DAMP: 감쇠 인식 혼합 정밀도 순환 상태 양자화
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
한국어 초록
소프트맥스 어텐션은 앞선 모든 토큰에 대한 key와 value 벡터를 저장하여 시퀀스 길이에 따라 추론 메모리가 증가한다. Gated DeltaNet(GDN) 또는 Kimi Delta Attention(KDA)을 통합한 최근 언어 모델은 대부분의 레이어에서 KV 캐시를 고정 크기의 순환 상태로 대체하여 이 비용을 줄인다. 그러나 이러한 순환 상태는 일반적으로 FP32로 저장되어 상당한 GPU 메모리를 소비하며, 업데이트는 메모리 대역폭에 묶여 있고 디코딩 지연에 상당히 기여한다. 우리가 아는 한, 우리는 GDN 및 KDA 기반 언어 모델에서 순환 상태의 사후 학습 양자화를 최초로 연구한다. 균일 양자화는 정확도-저장 공간 trade-off 측면에서 나쁜 결과를 제공한다는 것을 발견했다: INT8과 FP8은 이미 복잡한 추론 작업에서 정확도를 저하시키며, INT4와 NVFP4는 거의 0에 가깝게 줄인다. 또한 대부분의 양자화 오차 에너지가 소수의 채널에 집중되어 있으며, 상태 채널의 상대적 감쇠 강도는 프롬프트와 작업 전반에 걸쳐 안정적으로 유지된다는 것을 발견했다. 이러한 발견에 동기를 받아 DAMP는 오프라인 보정 중 양자화 오차 에너지와 감쇠 기반 지속성을 모두 사용하여 고위험 채널을 식별한다. 이러한 채널은 더 높은 정밀도로 저장하고 나머지는 INT8로 저장한다. DAMP를 Qwen3.6-35B 및 Kimi-Linear-48B에서 수학적 추론, 일반 추론, 코드 생성을 아우르는 6개 벤치마크로 평가한다. 상태 값당 9.9비트에서 DAMP는 FP32 기준선에 가까운 평균 정확도를 유지한다. DAMP는 순환 상태 저장 공간을 69.1% 줄이고, 순환 상태 업데이트 커널을 최대 2.01배 가속하며, 전체 모델 TPOT를 최대 10.9% 낮춘다.
원문 초록
Softmax attention stores key and value vectors for every preceding token, causing inference memory to grow with sequence length. Recent language models incorporating Gated DeltaNet (GDN) or Kimi Delta Attention (KDA) reduce this cost by replacing the KV cache in most layers with fixed-size recurrent states. However, these recurrent states are commonly stored in FP32 and consume substantial GPU memory; their updates are memory-bandwidth bound and contribute significantly to decoding latency. To our knowledge, we are the first to study post-training quantization of recurrent states in GDN and KDA based language models. We find that uniform quantization provides a poor accuracy--storage trade-off: INT8 and FP8 already degrade accuracy on complex reasoning tasks, while INT4 and NVFP4 reduce it to near zero. We further find that most quantization-error energy is concentrated in a small subset of channels and that the relative decay strength of state channels remains stable across prompts and tasks. Motivated by these findings, DAMP uses both quantization-error energy and decay-based persistence to identify high-risk channels during offline calibration. It stores these channels at higher precision and the remainder in INT8. We evaluate DAMP on Qwen3.6-35B and Kimi-Linear-48B across six benchmarks covering mathematical reasoning, general reasoning, and code generation. At 9.9 bits per state value, DAMP maintains average accuracy close to the FP32 baseline. DAMP reduces recurrent-state storage by 69.1%, accelerates the recurrent-state update kernel by up to 2.01x, and lowers full-model TPOT by up to 10.9%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.27513v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.