어텐션 메커니즘의 컨텍스트 압축을 위한 커널 기반 보간 방법
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
한국어 초록
현대 언어 모델의 근본적인 구성 요소인 어텐션 메커니즘의 병목은 컨텍스트 크기에 대한 이차 복잡도이다. 이에 따라 KV 캐시 압축이라고도 불리는 컨텍스트 압축에 대한 관심이 높아지고 있다. 본 논문에서는 어텐션 메커니즘의 컨텍스트를 압축하는 문제를 먼저 그 커널에 연관된 힐베르트 공간에서 정식화하여 다룬다. 이 형식에서 어텐션은 두 선형 사상의 비로 표현될 수 있고 그 보간식 또한 보간식들의 비가 되므로, 선형 사상을 직접 보간하는 것을 고려할 수 있다. 이에 우리는 각각 일반화 경험적 보간법(GEIM)과 Q-이산 경험적 보간법(Q-DEIM)에 기반한 두 가지 새로운 KV 캐시 압축 방법 GAIM과 Q-DAIM을 제안한다. 이 방법들의 비용은 컨텍스트 길이에 대해 이차이므로, 테일러 급수, Performer, 랜덤 푸리에 특징 방법에 기반한 대리 모델을 제안하여 압축을 선형 시간에 수행할 수 있게 한다. 마지막으로 이 결과를 스트리밍 어텐션 설정으로 확장하여, 이전에 보간된 컨텍스트를 바탕으로 보간 노드 선택에 페널티를 부과하고 새로운 정보에 따라 이전 보간을 갱신할 수 있는 새로운 방법을 제시한다. 이어서 잔차와 향후 질의에서의 출력 오차의 수렴에 대한 수치 결과와, 최첨단 방법에 필적하는 성능을 보이는 LongBench-E 벤치마크 예비 결과를 제시한다. 이러한 실험은 Q-DAIM 방법이 드러내는 범위가 KV 캐시에서 정보가 집중된 위치를 파악하는 데 도움이 되어 효율적인 압축을 가능하게 할 수 있음을 시사한다.
원문 초록
The bottleneck of attention mechanisms, which are the fundamental building block of modern language models, is their quadratic complexity in terms of context size. There has thus been an increasing interest in the compression of the context, also called KV-cache compression. In this article, we consider the problem of compressing the context of attention mechanisms by first formulating it in the Hilbert space associated with its kernel. In this formalism, attention can be represented as the ratio of two linear maps whose interpolant is also the ratio of interpolants, this allows us to consider the interpolation of the linear maps directly. We thus introduce two novel KV-cache compression methods which we call GAIM and Q-DAIM, based on the Generalized Empirical Interpolation Method (GEIM) and the Q-Discrete Empirical Interpolation Method (Q-DEIM), respectively. As the cost of these methods is quadratic in terms of context length, we propose surrogate models based on the Taylor series, the Performer and the Random Fourier Features method which allow the compression to be done in linear time. Finally, we extend this result to the streaming attention setting, providing new methods which allow one to penalize the selection of interpolation nodes based on the previously interpolated context and to update the previous interpolation based on new information. We then provide numerical results on the convergence of the residuals and the output error in future queries and preliminary results on the LongBench-E benchmark showing performance comparable to the state-of-the-art methods. These experiments suggest that the range revealed by our Q-DAIM method could help identify where information is concentrated in the KV cache, thus enabling an efficient compression.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.40943v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.