PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23314v2cs.LG

ValueDiff: 싱크가 억제된 LLM을 위한 값-기하 기반 KV 캐시 축출

ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

QK-정규화(QK-normalization), 게이트형 어텐션(gated attention), 학습된 어텐션 싱크(attention sink), 또는 로짓 소프트캡핑(logit softcapping)을 사용하는 최신 LLM들은 기존 KV 캐시 축출 기법들이 주로 의존해온 지속적인 어텐션 싱크가 더 약하게 나타난다. 우리는 이러한 모델들 전반에서, 어텐션 싱크가 약할수록 키 벡터(key vector) 분산 대비 값 벡터(value vector) 분산이 더 커지는 현상이 함께 나타남을 관찰했다. 이러한 값 측(value-side) 분산에 착안하여, 우리는 ValueDiff를 제안한다. ValueDiff는 토큰의 값 벡터가 캐시 평균으로부터 갖는 L2 편차에 따라 토큰의 순위를 매기는 값-기하 기반 축출 기법이다. 동일한 점수는 향후 어텐션에 대한 최대 엔트로피(max-entropy) 가정 하에서 최소 교란(minimal-disturbance) 축출로도 도출된다. 우리는 고정된 캐시 예산 하에서 평가를 수행했으며, 프리필(prefill) 중에는 매 블록 경계에서, 생성 중에는 매 디코딩 스텝마다 축출을 적용했다. RULER에서 2k 토큰이라는 빠듯한 예산 조건에서, ValueDiff는 싱크가 억제된 7개 모델 전반에서 dense 대비 88~99%의 성능을 유지했으며(7개 중 6개 모델에서 최고 성능), LongBench에서는 4k 예산 조건에서 싱크가 억제된 모델들 전반에 걸쳐 평균 92%의 성능 유지율을 보여 가장 강력한 기존 기준선(baseline)의 83%를 상회했다. MATH-500에서는 25% 캐시 예산 조건에서 테스트된 모든 싱크가 억제된 모델에서 ValueDiff가 dense가 아닌 방법들 중 가장 우수했으며, 게이트형 어텐션 모델에서는 기존 방법들을 최대 약 20점포인트 차이로 능가했다. 세 가지 벤치마크 전반에서, 값 기하학(value geometry)은 싱크가 억제된 LLM에 대해 더 신뢰할 수 있는 쿼리 불변(query-invariant) 축출 신호로 나타났다.

arXiv:2609.27470v1cs.CV

DeltaS: 스트리밍 비디오에서 KV 캐시 제거를 위한 게이트 선형 어텐션 상태 활용

DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video

최근 비전-언어 모델은 효율적인 장문맥 처리를 위해 선형 어텐션과 전체(full) 어텐션 레이어를 교차 배치하는 하이브리드 아키텍처를 점점 더 많이 채택한다. 선형 어텐션의 순환 상태(recurrent state) 크기는 고정된 반면, 전체 어텐션의 KV 캐시는 비디오 스트림에 따라 계속 커지므로, 제한된 메모리 예산 하에서는 제거(eviction)가 필요하다. 스트리밍에서 핵심 과제는 질문이 도착하기 전에 제거가 이루어져야 하므로, 무엇을 유지할지를 질문 없이 결정해야 한다는 점이다. 기존 제거 방법은 위치, 어텐션, 또는 키-값 표현을 사용해 KV 캐시 자체에서 토큰 점수를 도출하며, 어텐션 기반 점수는 추가로 프록시 쿼리나 추가 연산이 필요하다. 하이브리드 백본은 또 다른 신호 원천을 제공한다. 게이트-델타(gated-delta) 선형 어텐션에서는 순환 상태가 각 입력과 상태에서 이미 검색 가능한 것 사이의 잔차(residual)로 갱신되므로, 프레임 청크에 걸친 상태 변화는 해당 청크가 얼마나 많은 새 정보를 가져오는지를 반영한다. 우리는 쿼리에 무관하고 학습이 필요 없는 방법인 DeltaS를 제안하며, 정규화된 상태 변화, 즉 상태 표류(state drift)가 더 큰 비디오 청크를 유지한다. 예산과 유지 정책을 고정한 통제 비교에서 상태 표류는 위치-, 어텐션-, 키-값 기반 신호보다 우수하다. 순전파의 1.9%에 해당하는 비용의 신호만으로 DeltaS는 여섯 개의 장영상 벤치마크에서 평균 2.1점, 가장 긴 벤치마크에서는 5.6점만큼 최강의 쿼리-무관 제한 메모리 기준선을 능가한다. 이 결과는 하이브리드 아키텍처의 두 기억이 협력적으로 작동할 수 있음을 시사한다. 코드는 https://github.com/MaumAI-Company/DeltaS 에서 이용할 수 있다.