iS-KV: 블록 증분 SVD를 통한 온라인 저역삼/저차원 KV 캐시 압축
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
한국어 초록
긴 사고의 연쇄(Chain-of-Thought) 추론은 자기회귀 디코딩(autoregressive decoding) 과정에서 KV 캐시 메모리를 크게 증가시킵니다. 생성되는 모든 토큰이 새로운 키 및 값 상태를 도입하여 캐시가 디코딩 길이에 따라 선형적으로 증가하기 때문입니다. 기존의 KV 캐시 압축 방식은 일반적으로 토큰 축출(token eviction)을 통해 이러한 증가를 억제하지만, 비가역적인 삭제는 이후 추론 과정에서 다시 참조해야 할 과거 상태를 제거할 수 있습니다. SVD 기반 저차원(low-rank) 압축은 보다 조밀한 표현을 통해 모든 위치를 보존함으로써 대안을 제공합니다. 그러나 이를 고정된 프롬프트 캐시에서 온라인 디코딩으로 확장하는 것은 간단하지 않습니다. 본 연구의 조사를 통해, 새로운 토큰에 맞춰 기저(basis)를 업데이트하는 반면 이전 토큰들이 과거 기저에서의 좌표를 유지할 경우 저장된 히스토리가 크게 표류(drift)한다는 점을 발견했습니다. 이러한 관찰을 바탕으로, 긴 호흡의 추론을 위한 온라인 저차원 KV 캐시 압축 기법인 iS-KV를 제안합니다. iS-KV는 최근 윈도우는 정확하게 유지하면서 오래된 상태들을 유계 랭크(bounded-rank) 표현으로 점진적으로 접어 넣습니다. 또한 저차원 기저가 발전함에 따라 과거 좌표를 업데이트된 기저와 동기화하여 표현 일관성을 유지합니다. DeepSeek-R1-Distill-Llama-8B에서 iS-KV는 영구 KV를 4.06배 압축하면서도 원본 모델의 83.6%에 근접한 82.6%의 정확도를 달성했습니다. Qwen3-8B에서는 5.64배 압축에서 89.2%의 정확도를 달성했습니다. 동일한 메모리 예산 조건에서 iS-KV는 토큰 축출 기반의 베이스라인 모델들을 일관되게 능가합니다.
원문 초록
Long chain-of-thought reasoning substantially increases KV-cache memory during autoregressive decoding, as every generated token introduces new key and value states and causes the cache to grow linearly with decoding length. Existing KV-cache compression methods typically control this growth through token eviction, but irreversible deletion can remove historical states that later reasoning may need to revisit. SVD-based low-rank compression provides an alternative by retaining all positions with a more compact representation. However, extending it from a fixed prompt cache to online decoding is non-trivial. Through our investigation, we find that if the basis is updated for new tokens while old tokens keep their coordinates in the old basis, the stored history drifts substantially. Based on this observation, we propose iS-KV, an online low-rank KV-cache compression method for long-horizon reasoning. iS-KV keeps a recent window exact while incrementally folding older states into bounded-rank representations. As the low-rank basis evolves, it synchronizes historical coordinates with the updated basis to maintain representation consistency. On DeepSeek-R1-Distill-Llama-8B, iS-KV achieves 82.6% accuracy at 4.06-fold persistent-KV compression, close to the original model's 83.6%. On Qwen3-8B, it achieves 89.2% accuracy at 5.64-fold compression. Under matched memory budgets, iS-KV consistently outperforms token-eviction baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
무엇을 남길지가 아닌 언제 제거할 것인가: 학습 불필요 KV 캐시 압축을 위한 초안 유도 제거
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
SnapKV, H2O, PyramidKV와 같은 학습 불필요(training-free) KV 캐시(KV-cache) 압축 기법들은 프리필(prefill) 단계의 끝에서 토큰을 제거하여 향후 쿼리가 사용할 것으로 예상되는 어텐션 가중치 합(attention mass)을 보존하는 것을 목표로 하며, 즉 '무엇을 남길지'를 최적화합니다. 본 논문에서는 이러한 목표가 두 가지 서로 다른 방식으로 실패함을 보입니다. (1) 보상(Compensation): 제거된 어텐션 가중치 합을 복원하면 태스크 품질을 회복하지 못한 채 어텐션 수준의 목표치만 복구될 수 있습니다. (2) 선택(Selection): 복원된 가중치 합이 일관된 구간에 집중되지 않고 분절되어 있을 경우, 실제 디코드 쿼리 가중치 합을 더 많이 포함하더라도 오히려 품질이 저하될 수 있습니다. 이러한 실패는 공통된 원인을 공유합니다. 즉, 답변의 궤적을 결정하는 쿼리가 존재하기 전에 제거가 발생한다는 점입니다. 이에 따라 본 연구에서는 전체 캐시를 사용하여 첫 k=2개의 답변 토큰을 초안(draft)으로 생성할 때까지 제거를 연기하는 초안 유도 제거(Draft-Guided Eviction, DGE)를 제안합니다. 이는 프리필을 넘어 단 1회의 디코드 단계에 불과합니다. 초안은 답변 자체의 접두 문맥(prefix)으로부터 생성되므로, 이러한 궤적 신호를 사용할 수 있게 되기 전까지는 어떠한 캐시 항목도 폐기되지 않습니다. 헤드별 캐시 예산은 그대로 유지되며, DGE는 제거 점수를 수정하지 않고도 SnapKV, PyramidKV, H2O, StreamingLLM에 직접 적용할 수 있습니다. 추가 패스(extra-pass)를 사용하는 방식과 달리, DGE는 어떤 캐시 항목을 선택할지가 아니라 언제 제거가 일어나는지를 변경합니다. 광범위한 실험을 통해 DGE는 평가된 6개 인스트럭션 튜닝(instruct-tuned) 백본 중 5개에서 모든 평가 예산에 걸쳐 기존 기법보다 뛰어난 성능을 보였으며, LongBench에서 44.2점을 기록하여 FullKV의 44.3점에 거의 근접함을 입증했습니다. 시점만 조절한 대조군인 DGE-W 역시 동일한 점수를 기록하였는데, 이는 성능 향상이 무엇을 선택하는가가 아니라 언제 제거가 일어나는가에서 비롯됨을 보여주며, 본 연구에서는 이러한 효과를 '궤적 앵커링(trajectory anchoring)'이라 부릅니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기
Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning
긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.