qualcomm.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.23314v2cs.LG

ValueDiff: 싱크가 억제된 LLM을 위한 값-기하 기반 KV 캐시 축출

ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

QK-정규화(QK-normalization), 게이트형 어텐션(gated attention), 학습된 어텐션 싱크(attention sink), 또는 로짓 소프트캡핑(logit softcapping)을 사용하는 최신 LLM들은 기존 KV 캐시 축출 기법들이 주로 의존해온 지속적인 어텐션 싱크가 더 약하게 나타난다. 우리는 이러한 모델들 전반에서, 어텐션 싱크가 약할수록 키 벡터(key vector) 분산 대비 값 벡터(value vector) 분산이 더 커지는 현상이 함께 나타남을 관찰했다. 이러한 값 측(value-side) 분산에 착안하여, 우리는 ValueDiff를 제안한다. ValueDiff는 토큰의 값 벡터가 캐시 평균으로부터 갖는 L2 편차에 따라 토큰의 순위를 매기는 값-기하 기반 축출 기법이다. 동일한 점수는 향후 어텐션에 대한 최대 엔트로피(max-entropy) 가정 하에서 최소 교란(minimal-disturbance) 축출로도 도출된다. 우리는 고정된 캐시 예산 하에서 평가를 수행했으며, 프리필(prefill) 중에는 매 블록 경계에서, 생성 중에는 매 디코딩 스텝마다 축출을 적용했다. RULER에서 2k 토큰이라는 빠듯한 예산 조건에서, ValueDiff는 싱크가 억제된 7개 모델 전반에서 dense 대비 88~99%의 성능을 유지했으며(7개 중 6개 모델에서 최고 성능), LongBench에서는 4k 예산 조건에서 싱크가 억제된 모델들 전반에 걸쳐 평균 92%의 성능 유지율을 보여 가장 강력한 기존 기준선(baseline)의 83%를 상회했다. MATH-500에서는 25% 캐시 예산 조건에서 테스트된 모든 싱크가 억제된 모델에서 ValueDiff가 dense가 아닌 방법들 중 가장 우수했으며, 게이트형 어텐션 모델에서는 기존 방법들을 최대 약 20점포인트 차이로 능가했다. 세 가지 벤치마크 전반에서, 값 기하학(value geometry)은 싱크가 억제된 LLM에 대해 더 신뢰할 수 있는 쿼리 불변(query-invariant) 축출 신호로 나타났다.