arXiv:2608.28911v1 cs.LG

SemKV: 장문맥 LLM 추론을 위한 품질 절벽 기반 시맨틱 혼합 정밀도 KV 캐시 양자화

SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference

Daeha Lee, Do-Hyung Kim, Jae-Hong Kim

제출 2026-08-28

한국어 초록

키-값(KV) 캐시는 장문맥 대규모 언어 모델(LLM) 추론에서 지배적인 메모리 병목이며, 문맥 길이에 선형적으로 증가한다. 분수 비트 격자에서의 균일 KV 양자화는 완만하게 저하되지 않음을 보인다. 사전 지정된 다중 시드 통계 프로토콜 하에서, affine 양자화기를 사용한 Llama-3.1-8B-Instruct는 값당 2.322 code bits까지 FP16 KV와 통계적으로 구별 불가능하며 2.0 bits에서 붕괴한다. 이는 (2.0, 2.322] 구간의 품질 절벽(quality cliff)으로, 생성 시점 양자화와 다중 턴 대화에서도 재현되며 Mistral-7B로 전이된다. 이 절벽은 중요도 인식 혼합 정밀도를 재구성한다. 절벽 위에서는 여덟 가지 모델 내부 중요도 지표가 통계적으로 상호 교환 가능하므로, 혼합의 이점은 격자 보간에 있으며 균일 양자화가 실현할 수 없는 평균 정밀도에 도달한다. SemKV는 모든 토큰을 보존하고, 모델 내부 점수로 토큰 순위를 매기며, 절벽 위의 두 인접 정밀도를 할당한다. 이를 통해 전체 KV 대비 통계적으로 검출 가능한 품질 차이 없이(n=900, 세 시드) 측정된 6.0배 저장 공간 절감을 달성하고, 1.5배 더 큰 메모리 예산을 부여한 FP16 토큰 가지치기를 능가한다. affine 기반을 왜곡 최적화 양자화기(TurboQuant-MSE)로 교체하면 테스트한 모든 프로토콜에서 절벽이 낮아져, 손실 미검출 운영 지점을 7.9배까지 끌어올린다. 요약하면, 대상 배포 설정에서 절벽을 측정한 뒤 그 위에서 보간하면 된다.

원문 초록

The key-value (KV) cache is the dominant memory bottleneck of long-context large language model (LLM) inference, growing linearly with context length. We show that uniform KV quantization on a fractional-bit grid does not degrade gracefully: under a prespecified multi-seed statistical protocol, Llama-3.1-8B-Instruct with an affine quantizer is statistically indistinguishable from FP16 KV down to 2.322 code bits/value and collapses at 2.0 bits - a quality cliff in (2.0, 2.322] that reappears in generation-time quantization and multi-turn dialogue and transfers to Mistral-7B. The cliff reframes importance-aware mixed precision: above it, eight model-internal importance indicators are statistically interchangeable, so the benefit of mixing is grid interpolation, reaching average precisions uniform quantization cannot realize. SemKV preserves every token, ranks tokens by a model-internal score, and assigns two adjacent above-cliff precisions, achieving a measured 6.0x storage reduction with no statistically detectable quality difference from full KV (n=900, three seeds), and outperforming FP16 token pruning granted a 1.5x larger memory budget. Replacing the affine base with a distortion-optimized quantizer (TurboQuant-MSE) lowers the cliff in every protocol tested, raising the no-detectable-loss operating point to 7.9x. The recipe: measure the cliff for the target deployment setting, then interpolate above it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.28911v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.