트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교
Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
한국어 초록
자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.
원문 초록
The key-value (KV) cache of autoregressive transformers can be viewed as a fourth-order tensor spanning attention heads, tokens, features, and grouped layers. We measure the singular-value spectra of all four mode unfoldings on Mistral-7B-v0.3 and LLaMA-2-13B and compare four standard tensor decompositions: Tucker, CP, tensor train, and t-SVD, at matched storage. The spectra partition the four axes into two classes. The token and feature modes carry low-rank structure, particularly for keys. The head and layer modes are nearly full-rank and resist compression at any practical error level. Among the four decompositions, Tucker achieves the lowest reconstruction error at every compression ratio from $2\times$ to $5\times$, because it can leave the full-rank modes untouched. Comparisons with two-dimensional unfolding baselines show that the preferred representation differs between keys and values: 2D methods achieve lower key error, while four-way Tucker achieves lower value error at matched storage. A mode-pinning theorem certifies the full-rank preservation from the measured spectra alone. Two further spectral properties affect the compressible modes without touching the full-rank ones: values reach a higher error floor than keys at every ratio, and post-RoPE keys lose $41\%$ - $64\%$ of their pre-RoPE compressibility on both models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28029v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
디코더는 동결하고 인코더는 치유하기: SVD 기반 KV 캐시 압축을 위한 매개변수 효율적 적응 기법
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
단일의 공유된 학습률(learning rate) 하에서 매개변수 효율적 미세조정(PEFT) 레시피들을 비교하는 것은 흔하지만 결함이 있는 방식입니다. 비교 대상군들의 학습 가능한 매개변수 수가 크게 다를 경우, 공유된 학습률은 매개변수가 더 많은 실험군의 성능 평균을 낮추는 동시에 분산을 부풀려, 실제 효과가 아님에도 가장 작은 실험군에 대해 마치 다중 시드에서 유의미한 것처럼 보이는 큰 이점을 인위적으로 만들어낼 수 있습니다. 본 연구는 사후(post-hoc) SVD 기반 KV 캐시(KV-cache) 압축이라는 구체적인 설정에서 이러한 교란 요인을 기록합니다. 이 설정에서는 이미 사전학습된 모델의 키/값(key/value) 가중치를 다운 프로젝션("인코더")과 업 프로젝션("디코더")으로 분해하여 저차원(다중 헤드 잠재 어텐션 스타일) 캐시로 변환한 뒤, 짧은 미세조정("치유", healing)을 통해 절단(truncation)으로 손실된 정확도를 복구합니다. 공유된 학습률 하에서는 디코더를 동결(freezing)하고 인코더만 치유하는 것이 디코더만 치유하거나 두 요소를 모두 치유하는 것보다 확실히 우수한 것처럼 보이지만, 각 실험군에 맞게 튜닝된 자체 학습률을 부여하면 이러한 겉보기 이점은 사라집니다. 대신 인코더 전용 치유는 다른 대안들과 동등한 성능에 도달하면서도, 실제로 측정된 학습 가능 매개변수 수를 3배 줄이고 옵티마이저(optimizer) 상태 메모리를 3배 절감합니다. 우리는 비전-언어 모델(vision-language model; Qwen2.5-VL-3B-Instruct)에서 이 프로토콜이 다루는 단일 압축률에 대해 실험군별 학습률 튜닝과 구성당 3개의 시드를 사용하여 이러한 동등성을 검증했으며, 두 가지 백본에 걸친 텍스트 전용 테스트베드에서도 이를 재현했습니다. 따라서 인코더 전용 치유는 학습 시점에 저차원 KV 캐시 압축을 소급 적용(retrofiting)하기 위한 저메모리 드롭인(drop-in) 레시피이며, 본 논문에서 문서화하고 수정한 공유 학습률의 함정은 학습 가능한 매개변수 수가 서로 다른 미세조정 레시피들을 비교할 때 주의해야 할 경고성 결과를 제공합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.