arXiv:2610.03198v1 cs.AI

KV$^2$: 자체 정제형 키-값(KV) 캐시

KV$^2$: A Self-Refining KV Cache

Johannes Wesch, Danni Liu, Jan Niehues

제출 2026-10-02

한국어 초록

키-값(KV) 캐시의 메모리 점유 공간은 긴 문맥(long-context) 모델의 실용적 활용을 제약하며, 사전 채움(prefilled)된 단일 문맥이 이후 여러 다양한 질의를 처리해야 할 때 비용의 대부분을 차지합니다. 이러한 재사용 환경에서 질의 무관(query-agnostic) 압축은 비용과 품질 간의 트레이드오프를 가집니다. 경량 추정기는 연산 비용이 저렴하지만 정확도가 낮고, 전체 문맥 재구성 점수 산정 방식은 더 정확하지만 전체 프롬프트(prompt)를 다시 처리해야 합니다. 본 연구에서는 선택적 재구성을 기반으로 한 질의 무관 KV 캐시 압축 기법인 KV$^2$를 소개합니다. KV$^2$는 먼저 경량 프록시 점수 산정기를 사용하여 문맥 내 유익한 토큰을 식별한 다음, 이 하위 집합만을 다시 처리하여 최종 축출(eviction) 점수를 계산합니다. RULER, Needle-in-a-Haystack, LongBench 벤치마크에서 KV$^2$는 예산이 빠듯해질수록 기준선(baseline) 대비 마진(margin) 격차를 넓힙니다. 2%의 KV 캐시 예산을 사용한 RULER 16K에서 차상위 기준선 대비 평균 점수를 40%p 이상 향상시켰으며, LongBench에서는 2%~10% 예산 전반에 걸쳐 전체 문맥 재구성 방식보다 압축 단계의 실행 시간 및 피크 메모리를 낮추면서도 가장 높은 평균 점수를 달성했습니다. 따라서 재사용 가능한 KV 캐시 압축은 전체 문맥을 다시 처리할 필요가 없습니다. 본 연구의 코드는 https://anonymous.4open.science/r/KVsquared-0B97 에서 확인할 수 있습니다.

원문 초록

The memory footprint of the key-value (KV) cache constrains the practical use of long-context models, and it dominates cost when one prefilled context must later serve many different queries. In this reusable setting, query-agnostic compression trades cost against quality: lightweight estimators are cheap but less accurate, whereas full-context reconstruction scoring is more accurate yet reprocesses the entire prompt. We introduce KV$^2$, a query-agnostic KV-cache compression method based on selective reconstruction. KV$^2$ first uses a lightweight proxy scorer to identify informative in-context tokens, then reprocesses only this subset to compute final eviction scores. On RULER, Needle-in-a-Haystack, and LongBench, KV$^2$'s margin over baselines widens as the budget tightens: on RULER 16K at a 2% KV-cache budget it improves the average score over the next-best baseline by more than 40 percentage points, and on LongBench it attains the highest average across 2%-10% budgets at lower compression-stage runtime and peak memory than full-context reconstruction. Reusable KV-cache compression thus does not require reprocessing the full context. Our code is available at https://anonymous.4open.science/r/KVsquared-0B97.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03198v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10845v1cs.CL공통 태그 Language Modeling, Computational Efficiency, long-context llm

AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.

arXiv:2609.35579v2cs.LG공통 태그 Language Modeling, Computational Efficiency, Model Compression

대규모 언어 모델을 위한 출력 인지 잔차 스트림 가지치기

Output-aware Residual Stream Pruning for Large Language Models

잔차 스트림(residual stream) 가지치기 기법은 모델의 은닉 차원을 축소하여 추론 비용을 줄이지만, 기존 접근 방식들은 일반적으로 활성화 재구성 오차(activation reconstruction error)를 최소화하는 방식으로 이러한 차원을 선택합니다. 이 기준은 다운스트림 레이어의 민감도를 무시한 채 모든 섭동 방향을 동일하게 중요한 것으로 암묵적으로 취급합니다. 본 논문에서는 이러한 방향 의존적 민감도를 직접 고려하는 잔차 스트림 가지치기용 민감도 인지(sensitivity-aware) 접근 방식을 제안합니다. 출력 KL 발산(KL divergence)에 대한 2차 근사를 사용하여 활성화 공분산과 모델 출력의 국소적 민감도 모두를 통해 잔차 스트림 섭동의 영향을 특성화합니다. 그 결과 도출된 부분공간(subspace) 선택 목적 함수는 이 두 양을 결합하지만 직접 최적화하기는 어렵습니다. 이에 본 연구는 부분공간 선택을 민감도 가중 공분산 행렬의 고유값 분해(eigendecomposition)로 단순화하는 다루기 쉬운 스펙트럼 상한(tractable spectral upper bound)을 도출하여, 회전 기반 가지치기 기법의 효율성과 구조적 단순성을 그대로 유지합니다. 여러 인스트럭션 튜닝(instruction-tuned) 언어 모델 계열 전반에 걸쳐, 본 방법은 활성화 정보만을 사용하는 가지치기에 비해 캘리브레이션 KL 발산을 일관되게 줄이고 다양한 압축 수준에서 퍼플렉서티(perplexity) 및 다운스트림 태스크 성능을 개선합니다. 연구 결과는 잔차 스트림 가지치기에서 활성화 에너지만 보존하는 것으로는 불충분하며, 섭동이 모델 출력으로 전파되는 방식을 명시적으로 고려하는 것이 제거할 차원을 선택하는 데 훨씬 효과적인 기준을 제공함을 보여줍니다.

arXiv:2609.27233v1cs.CL공통 태그 Language Modeling, Computational Efficiency, Model Compression

트랜스포머 언어 모델의 순차 연산 증류

Distilling Sequential Computation in Transformer Language Models

트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.

arXiv:2609.26177v1cs.CL공통 태그 Language Modeling, Computational Efficiency, Model Compression

크기 프로파일 가지치기: 트랜스포머 압축을 위한 캘리브레이션 없는 구조적 어텐션 헤드 제거

Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression

어텐션(attention) 헤드의 구조적 가지치기(structured pruning)는 트랜스포머(Transformer) 언어 모델을 압축하는 하드웨어 친화적인 방법을 제공합니다. 그러나 헤드 수준의 중요도를 측정하는 기존 방법들은 캘리브레이션(calibration) 데이터, 그래디언트(gradient) 계산 또는 헤시안(Hessian) 추정을 필요로 합니다. 이러한 요구사항은 추가적인 오버헤드를 발생시키고 데이터 의존성을 유발합니다. 본 연구에서는 가중치 행 노름(weight row norm)에 대한 통계적 이상치 탐지를 통해 불필요한 헤드를 식별하는 학습(training) 불필요 헤드 중요도 기준인 크기 프로파일(Magnitude Profile, MP) 스코어링을 제시합니다. 투영 가중치가 전체 분포의 주요 군집(population bulk) 내에 속하는 헤드는 가지치기되고, 불균형적으로 큰 표현 용량을 갖는 이상치 노름을 보이는 헤드는 보존됩니다. 나아가 본 연구는 공유된 키-값(key-value) 그룹 점수를 연관된 쿼리 헤드들에 분배함으로써 그룹 쿼리 어텐션(Grouped Query Attention, GQA)을 처리하는 변형인 MP-G를 제안합니다. 12.5%~50% 헤드 희소성(sparsity)에서 WikiText-2 당혹도(perplexity)로 평가된 5개 모델 전반에서, MP-G는 OPT-6.7B의 모든 희소성 수준(12.5%에서 18.46, 25%에서 27.87, 50%에서 152.0)에서 최고 당혹도를 달성합니다. 또한 MP-G는 RoBERTa-large의 12.5% 및 25% 희소성에서 각각 7.27과 10.28의 당혹도 수치를 기록하며 최고 결과를 보여, Wanda-Head, SparseGPT-Head, Gradient-Head를 포함한 캘리브레이션 의존적 기준 모델들을 능가합니다. 이 방식은 순전파(forward pass), 캘리브레이션 샘플 또는 그래디언트 계산을 전혀 요구하지 않습니다. 50% 희소성에서 헤드 가지치기는 어텐션 FLOP을 50% 절감하면서 최대 16%의 매개변수(parameter) 감소를 달성합니다. 우리의 결과는 가중치 전용 통계적 스코어링이 구조적 헤드 가지치기에서 데이터 의존적 방법들과 대등하거나 그 이상의 성능을 보일 수 있음을 보여주며, 트랜스포머 압축을 위한 실용적이고 비용이 전혀 들지 않는(zero-cost) 기준을 제공합니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.