크로스 컨텍스트 KV-캐시 재사용은 공유 세그먼트의 키와 값을 재계산하는 대신 새로운 접두 문맥(prefix) 하에서 이를 예측하며, 품질 손실 없이 이를 수행한다고 보고되어 왔다. 그러나 우리는 그렇지 않다는 것을 발견했으며, 두 가지 문제를 확인했다. (1) 숨겨진 비용: MMLU와 GSM8K에서 재사용은 상당한 정확도 손실을 초래한다. (2) 잘못된 단위에서의 결정: 캐시를 재사용할지 여부를 결정하는 규칙만으로는 이 비용을 제거하지 못한다. 실제로 도움이 되는 것은 캐시의 어느 부분을 재계산할지 선택하는 것이며, 잘 선택하는 것의 가치는 선택 단위가 커질수록 감소한다. 정보에 기반한 선택은 단일 행(한 토큰의 키와 값) 단위에서는 우연 수준을 넘어 캐시 오차의 49.5%를 제거하지만, 64토큰 청크 단위에서는 10.6%, 전체 호출 단위에서는 전혀 제거하지 못한다. 예산 기반 캐시 복구(Budgeted Cache Repair, BCR)는 선택이 여전히 유효한 단위에서 작동한다. BCR은 조립된 캐시로부터 두 개의 토큰을 초안(draft)으로 생성하고, 이 토큰들이 각 캐시 행에 기울이는 어텐션(attention)에 따라 캐시 행의 순위를 매긴 뒤, 세 가지 배치(layout) 중 하나로 고정된 예산만큼의 행을 정확히 재계산한다. 비용은 예측을 통해 회피되는 것이 아니라 실제로 지불되며, 게이트로서는 실패하는 초안이 선택기(selector)로서는 성공한다. BCR은 대부분의 호출을 여전히 캐시로부터 처리하면서도 GSM8K를 밀집 프리필(dense-prefill) 정확도로 복원하며, 최적의 배치는 참조 그리드(reference grid) 내 모든 재사용 기준선(baseline)의 평균을 상회한다. 또한 이 초안은 동일한 예산에서 동전 던지기(coin-flip) 선택기보다 우수한 성능을 보이는데, 이는 기존 평가들에 없던 대조 실험(control)이다.
KV-cache 축출(eviction)은 일반적으로 평균적인 품질-메모리 트레이드오프를 통해 평가되지만, 평균 손실이 작더라도 유틸리티가 크게 저하되는 요청이 가려질 수 있습니다. 본 연구는 축출을 배포 환경의 위험 제어(risk-control) 문제로 재정의합니다. 즉, 동일한 요청에 대해 전체 KV(full-KV) 추론 대비 축출로 인해 작업 유틸리티가 배포 환경에서 지정한 허용 오차보다 더 크게 낮아지면 실질적인 성능 저하가 발생한 것으로 보고, 배포 위험을 이러한 사건이 발생하는 모집단 내 빈도로 정의합니다. 목표 위험 수준과 신뢰도 요건을 명시한 신뢰성 계약(reliability contract)이 주어지면, 압축기에 구애받지 않는(compressor-agnostic) 사후(post-hoc) 인증 절차를 사용하여 보정(calibration) 데이터로부터 유한 표본 보장(finite-sample guarantee)을 갖는 보존 정책(retention policy)을 선택하며, 인증된 압축 정책이 없을 경우 full KV로 폴백(fallback)합니다. 여러 축출 방법, Llama 및 Mistral 모델, 그리고 LongBench와 RULER-32K 전반에 걸쳐, 동일한 계약이 상당히 다른 수준의 축출을 지원합니다. Llama에서는 LongBench의 75% 보존률에서 SnapKV를 인증하지만, RULER-32K에서는 테스트한 어떤 압축 정책도 인증하지 못해 full-KV 폴백이 발동됩니다. 경험적 저하율이 5% 목표 미만인 정책이라도 유한 표본 인증에는 실패할 수 있으며, Llama LongBench에서 경험적 임계값 설정(empirical thresholding)은 고정 예산 방법 전반에서 캐시를 5~10%p 적게 보존하는 미인증 정책을 선택합니다. 제안하는 프레임워크는 배포 수준의 신뢰성 요건을 KV 메모리 운영점(operating point)으로 변환합니다.
결정론적 KV-cache 축출은 중요도 점수 하에서 상위 $k$개 토큰을 유지하고 나머지를 삭제한다. 우리는 이 설계가 무엇을 파괴했는지 알 수 없음을 증명한다: 축출된 값을 변경하여 서빙 시스템이 유지하는 모든 것은 변하지 않은 채로 실제 어텐션 출력 오류가 임의로 커질 수 있으므로, 해당 오류에 대한 서빙 시점 추정량은 일관되지 않다. 무작위화된 축출은 식별 가능성을 회복한다. 알려진 포함 확률로 포아송 샘플링된 꼬리(tail)를 사용하면, 하나의 로짓 오프셋이 소프트맥스 내부에서 Hájek 보정을 수행하고, 유지된 집합에 대한 표본조사(survey-sampling) 분산 추정량이 정확도 비용 없이 0.97의 경험적 커버리지를 갖는 단계별 오류 인증서가 된다. 실제 워크로드에서 우리는 7개의 주장을 사전 등록했고 그중 3개는 기각했다: 25--50% 예산에서 질문 인식(question-aware) 축출은 거의 무상(nearly free)이다; 출력 로그 확률이 인증서보다 실패를 더 잘 예측한다; 인증서 기반 예산 확장은 아무 것도 추가하지 않는다. 살아남는 것은 귀속(attribution)이다: 인증서는 캐시 유발 실패와 고유(inherent) 실패를 분리한다(AUC 0.73--0.75, 출력 신뢰도의 0.47--0.54 대비) 그리고 무작위 또는 신뢰도 게이팅보다 재계산을 더 잘 스케줄링한다. 무작위화는 예측이 아니라 귀속을 얻는다.
효율적인 멀티모달 추론은 모델 품질이나 FLOP 수뿐 아니라, 지연 시간·메모리·에너지 제약 하에서 멀티모달 표현을 보존·이동·라우팅·캐싱·양자화하는 비용에 의해서도 점점 더 제약받고 있다. 본 논문은 효율적인 비전-언어 및 멀티모달 대규모 언어 모델의 최근 발전을 검토하며, 시각 토큰 압축, 비디오 토큰 관리, KV-cache 최적화, 전문가 혼합(MoE) 라우팅, 저비트 양자화, 엣지 배포, 하드웨어 인식 벤치마킹을 다룬다. 우리는 이러한 기법들을 독립적인 최적화로 취급할 수 없다고 주장한다. 시각 토큰 압축은 하류 특징 분포와 MoE 라우팅 결정을 변경하고, 라우팅 동작은 전문가 활용률과 양자화 민감도에 영향을 미치며, 양자화된 라우터 로짓은 전문가 할당에 영향을 주고, KV-cache 정책은 보존되는 멀티모달 증거를 결정하며, 하드웨어 제약은 종종 계산 절감을 메모리 및 통신 병목으로 전환한다. 우리는 이러한 상호작용을 중심으로 문헌을 정리하고, 정확도 대 토큰 예산, 정적 대 적응형 압축, 희소 라우팅 효율성 대 전문가 붕괴, 저비트 추론 대 모달리티별 성능 저하 등 핵심 설계 트레이드오프를 식별한다. 마지막으로, 비디오 MoE 모델에 대한 진단 도구로 Temporal Routing Consistency를 제안하고, 라우팅 인식 압축, 교차 모달 캐시 관리, 하드웨어 인식 공동 설계, 멀티모달 엣지 인텔리전스를 위한 통합 벤치마킹 등의 미해결 연구 방향을 강조한다.
가중치를 전혀 변경하지 않고, 동결된 소형 언어 모델을 한 번에 더 유능하면서도 극적으로 저렴하게 만드는 방법을 보고한다. 검증된 지식은 바이트 정확(byte-exact) 키-값(KV) 상태 아티팩트로 한 번 저장된 뒤, 접목(graft)을 통해 새로운 추론 컨텍스트에 복원된다. 복원은 비트 정확(bit-exact)하다: 고정된 결정론적 구성(pinned deterministic configuration) 아래, 접목된 logits는 새로 계산한 결과와 바이트 단위로 동일하며(SHA-256 동등), 50개 샘플에서 KL 발산 0, argmax 일치 100%를 달성한다. 부동소수점 회전 인코딩(rotary encoding)을 사용하는 모델에서 own-position graft가 유일한 수치적으로 정확한 동작점임을 보이며, 두 모델 규모(12B, 31B)와 두 GPU 대상에서 바이트 정확성을 검증했고, 그중 하나는 사전 등록된 재현(replay)을 통해 확인했다. AIME 2025에서 동결된 Gemma-4-12B는 검증된 해법 라이브러리를 접목한 뒤 80.0%에서 93.3%로 향상되며, 자체 77.5%와 31B 형제 모델의 공개 기준점 89.2%를 모두 상회한다. 반복되는 사례에서는, 기본 모델이 401,026토큰 예산 내에서 한 번도 풀지 못한 8개 문제를 캐시된 검증 해법으로 총 61 디코드 토큰만으로 답했으며, 이는 토큰 수 기준 6,574배 적고 에너지는 약 8,700배 적다; 능력 주장 자체는 홀드아웃 전이(31B에서 7/7)에 근거한다. 동일한 바이트 정확 저장소는 추가 가속기 메모리 없이 사용 가능 컨텍스트를 32,768에서 2,854,766토큰으로 확장하며, 동일 아키텍처 머신 간에 바이트 동일하게 이동한다. 시스템을 동작 수준에서 기술하며, 엔진은 독점(proprietary)이고 보고된 모든 수치는 커밋된 입력·출력 해시로 뒷받침되어 엔진 없이도 채점을 재검증할 수 있다.
본 연구는 Turbo-Quant와 SpectralQuant KV-캐시 압축을 체계적으로 비교하며, Beta Lloyd-Max 및 QJL과 결합된 WHT 회전을 포함한 비지배 방식들을 통계적 검증 방법론을 통해 평가한다. 이 방법론은 체계적인 코덱 차이와 구현 분산을 분리한다. 주요 발견으로는, 고유기저 기반 방법이 공분산 불안정성으로 인해 중꼬리 분포 데이터에서 실패하는 반면, 구조적 체계에서는 우수한 성능을 보임을 확인하였다. 또한 유효 의미 차원($d_{eff}$)이 실제 데이터 랭크가 아닌 보정 예산에 따라 적응함을 밝혔다. (this is an abstract of the abstract thank you )
장문 컨텍스트 서빙에서 KV 캐시 증가 문제를 해결하기 위해 양자화(KIVI, TurboQuant), 가지치기(SnapKV), 병합(CaM) 기법을 Llama-3.1-8B-Instruct와 Mistral-7B-Instruct-v0.3 모델로 태스크 품질과 시스템 효율을 동시에 평가하는 워크로드 인식 벤치마크를 제시한다. 실험 결과 압축률 단독으로는 엔드투엔드 성능을 예측하기 어려우며, KIVI4는 모델 전반에서 가장 안정적인 품질을, SnapKV는 장문 맥락에서 최고 처리량을 보여 획일적 압축 대신 워크로드 특성에 맞는 KV 캐시 메커니즘 선택이 필요함을 시사한다.
표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.
비전 자기회귀(VAR) 모델은 최근 낮은 지연 시간을 유지하면서 인상적인 이미지 생성 품질을 입증했습니다. 그러나 이들은 심각한 KV 캐시 메모리 제약 문제를 겪으며, 생성된 이미지당 종종 수 기가바이트의 메모리가 필요합니다. 우리는 이전에 생성된 스케일(scales)에 대한 어텐션(attention)을 기반으로 각 헤드의 캐시 할당을 조정하는 새로운 압축 방법인 HeatKV를 소개합니다. 작은 오프라인 보정(calibration) 세트를 사용하여, 어텐션 헤드는 이전 스케일에 대한 어텐션 점수에 따라 순위가 매겨집니다. 이 순위를 기반으로, 주어진 메모리 예산에 맞춰진 정적 가지치기(pruning) 스케줄을 구성합니다. Infinity-2B 모델에 적용했을 때, HeatKV는 기존 방법에 비해 KV 캐시를 위한 메모리 할당에서 $2 \times$ 더 높은 압축률을 달성하면서도, 유사하거나 더 우수한 이미지 충실도, 프롬프트 정렬(alignment) 및 인간 지각 점수를 유지합니다. 우리의 방법은 VAR 모델 KV 캐시 압축에 대한 새로운 최신 성능(SOTA)을 달성하여, 세분화된 헤드별 캐시 할당의 효과를 입증합니다. 코드와 보정 스크립트는 https://github.com/arm-research/heatkv 에서 확인할 수 있습니다.
본 논문에서는 추론(inference) 과정에서 트랜스포머 어텐션(attention)을 희소화하는 학습(training)이 필요 없는 방법인 Top-Theta (Top-$θ$) 어텐션을 제안합니다. 핵심 통찰은 정적이고 헤드별(per-head) 임계값을 조정하여 각 어텐션(attention) 행마다 원하는 개수만큼의 유의미한 요소를 유지할 수 있다는 점입니다. 이 접근 방식은 재학습 없이 콘텐츠 기반 희소성(sparsity)을 가능하게 하며, 다양한 데이터 도메인에서 견고한 성능을 유지합니다. 또한, 적극적인 희소화(sparsification) 상황에서 정확도를 보존하기 위한 보상 기법을 도입하여, 어텐션(attention) 임계화(thresholding)를 top-k 어텐션에 대한 실용적이고 원칙적인 대안으로 자리 잡게 합니다. 자연어 처리(NLP) 작업에 대한 광범위한 평가를 통해 Top-$θ$가 추론(inference) 시 V-cache 사용량을 3~10배 줄이고 어텐션(attention) 요소를 최대 10배 줄이면서도 정확도 저하는 1% 이내로 유지됨을 확인했습니다.