본 논문에서는 일치하는 근사 보장(approximation guarantees)을 유지하면서 비인과적(non-causal) 어텐션 근사를 인과적(causal) 근사로 변환하는 새로운 도구인 Express를 소개합니다. SOTA(최첨단) Thinformer 근사와 결합했을 때, Express는 길이 $n$의 시퀀스에 대해 $O(s)$의 메모리와 $O(s^2 \log^2(n))$의 압축 오버헤드만으로 $\log^{3/2}(n)/s$의 근사 오차를 제공하여 기존에 가장 잘 알려진 인과적 어텐션 보장을 향상시킵니다. 이러한 개발 내용을 효율적인 I/O 인식 Triton 구현과 결합하여 FlashAttention 2 대비 상당한 속도 향상을 입증하며, 언어 모델링 파이프라인에서 발생하는 네 가지 자원 병목 현상인 긴 문맥 프리필(long-context prefill), KV 캐시 압축, 긴 형태의 메모리 제약 디코딩, 긴 형태의 연산 제약 디코딩을 극복하는 데 Express를 활용합니다.
Large language models increasingly operate over long contexts, where the KV cache grows linearly with sequence length and dominates memory during decoding. Token eviction discards entries permanently, and semantic compression fixes each unit's resolution at prefill, so detail that becomes relevant later cannot be recovered. We propose SeKV, a resolution-adaptive KV cache built around a trained zoom-in mechanism that decides at decode time which compressed spans to restore to token resolution. SeKV segments the context at high-surprisal positions, keeps anchor tokens and span summaries on GPU, and offloads low-rank factors of each span's keys and values to CPU. Lightweight per-head routers select query-relevant spans, which are reconstructed with a learned per-span rank. The cache is lossy but non-evicting: every span stays in attention, coarse or reconstructed. The base LLM stays frozen, and the router adds under 0.1% parameters. Across five backbones and four benchmarks at a 10% GPU-resident KV budget, SeKV outperforms every method that fixes resolution at prefill, improving over the strongest semantic baseline by 2.9 points (5.5% relative). It matches exact-recall offloading caches on LongBench and InfiniteBench and trails on synthetic exact retrieval, while transferring 3 times less data per decoding step than ShadowKV and using the least total memory among the methods we profile. At 128K context, it halves peak GPU memory and cuts total memory by one third relative to full KV caching.
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.
희소 긴 문맥(long-context) 추론에서는 프리필(prefill)과 디코드(decode) 단계 모두에서 효율적인 토큰 검색이 필요합니다. 기존 방식들은 종종 두 단계에 서로 다른 검색 전략을 사용하여, 추론 전반에 걸쳐 하나의 검색 표현을 재사용하지 못합니다. 본 논문에서는 공유된 변환 도메인 부호-크기(sign-magnitude) 표현을 기반으로 구축된 별도의 학습이 필요 없는(training-free) 프레임워크인 자체 색인 어텐션(Self-Indexing Attention)을 제안합니다. 키(key) 부호는 그룹화된 프리필 선택 및 디코드 검색을 위한 재사용 가능한 토큰 수준의 색인을 제공하며, 동일한 표현이 별도의 색인기 메타데이터 없이도 외부 KV 캐시 압축과 호환성을 유지합니다. 이 1비트 색인은 최신 가속기에서 널리 지원되는 비트 단위 연산을 통해 효율적인 검색을 가능하게 합니다. 5%의 어텐션 밀도에서 Self-Indexing Attention은 LongBench 및 RULER에서 밀집(dense) 어텐션에 근접한 성능을 유지하며, 프리필에서 최대 6.1배, 디코드에서 최대 10.3배의 어텐션 연산자 속도 향상을 달성합니다. TurboQuant 및 DeepSeekV4-Flash를 사용한 실험은 저비트 KV 캐시 압축 및 사전학습된 희소 어텐션 색인기와의 호환성을 추가로 입증합니다.
QK-정규화(QK-normalization), 게이트형 어텐션(gated attention), 학습된 어텐션 싱크(attention sink), 또는 로짓 소프트캡핑(logit softcapping)을 사용하는 최신 LLM들은 기존 KV 캐시 축출 기법들이 주로 의존해온 지속적인 어텐션 싱크가 더 약하게 나타난다. 우리는 이러한 모델들 전반에서, 어텐션 싱크가 약할수록 키 벡터(key vector) 분산 대비 값 벡터(value vector) 분산이 더 커지는 현상이 함께 나타남을 관찰했다. 이러한 값 측(value-side) 분산에 착안하여, 우리는 ValueDiff를 제안한다. ValueDiff는 토큰의 값 벡터가 캐시 평균으로부터 갖는 L2 편차에 따라 토큰의 순위를 매기는 값-기하 기반 축출 기법이다. 동일한 점수는 향후 어텐션에 대한 최대 엔트로피(max-entropy) 가정 하에서 최소 교란(minimal-disturbance) 축출로도 도출된다. 우리는 고정된 캐시 예산 하에서 평가를 수행했으며, 프리필(prefill) 중에는 매 블록 경계에서, 생성 중에는 매 디코딩 스텝마다 축출을 적용했다. RULER에서 2k 토큰이라는 빠듯한 예산 조건에서, ValueDiff는 싱크가 억제된 7개 모델 전반에서 dense 대비 88~99%의 성능을 유지했으며(7개 중 6개 모델에서 최고 성능), LongBench에서는 4k 예산 조건에서 싱크가 억제된 모델들 전반에 걸쳐 평균 92%의 성능 유지율을 보여 가장 강력한 기존 기준선(baseline)의 83%를 상회했다. MATH-500에서는 25% 캐시 예산 조건에서 테스트된 모든 싱크가 억제된 모델에서 ValueDiff가 dense가 아닌 방법들 중 가장 우수했으며, 게이트형 어텐션 모델에서는 기존 방법들을 최대 약 20점포인트 차이로 능가했다. 세 가지 벤치마크 전반에서, 값 기하학(value geometry)은 싱크가 억제된 LLM에 대해 더 신뢰할 수 있는 쿼리 불변(query-invariant) 축출 신호로 나타났다.
긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.
효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.
장문 컨텍스트 서빙에서 KV 캐시 증가 문제를 해결하기 위해 양자화(KIVI, TurboQuant), 가지치기(SnapKV), 병합(CaM) 기법을 Llama-3.1-8B-Instruct와 Mistral-7B-Instruct-v0.3 모델로 태스크 품질과 시스템 효율을 동시에 평가하는 워크로드 인식 벤치마크를 제시한다. 실험 결과 압축률 단독으로는 엔드투엔드 성능을 예측하기 어려우며, KIVI4는 모델 전반에서 가장 안정적인 품질을, SnapKV는 장문 맥락에서 최고 처리량을 보여 획일적 압축 대신 워크로드 특성에 맞는 KV 캐시 메커니즘 선택이 필요함을 시사한다.
DepthWeave-KV는 장문 컨텍스트 추론 시 KV 캐시 메모리 병목을 해결하기 위해, 인접한 트랜스포머 레이어에 걸쳐 공유 저랭크(low-rank) 채널 기저를 활용하는 층간 잔차 분해(cross-depth residual factorization)와 토큰 조건부 깊이 라우터를 결합한 압축 방법이다. LongBench, Needle-in-a-Haystack 등 벤치마크에서 기존 방법 대비 평균 점수와 검색 정확도를 향상시키면서 64K 컨텍스트 기준 8.3배 KV 메모리 감소와 초당 72.8 토큰의 처리 속도를 달성했다.
FreqDepthKV는 인접 트랜스포머 레이어 간 KV 캐시를 공유 저주파 깊이 성분과 희소 고주파 잔차로 분해하는 추론 시 압축 방법으로, 경량 온라인 프로브가 어텐션 로짓 재구성 오차를 기준으로 각 헤드의 압축 모드를 재학습 없이 동적으로 결정한다. 32k 토큰 프리필 기준으로 Exact Match 58.3, F1 63.0을 달성하며 전체 KV 캐시 수준의 정확도를 유지하면서 3.9배 압축률과 디코딩 처리량 70.4 토큰/초를 확보했다.
고처리량 장문맥 생성은 대규모 언어 모델(LLM)의 핵심 과제 중 하나이다. 생성은 일반적으로 연산 병목이 아닌 메모리 대역폭 병목 형태로 나타난다. 각 디코딩 단계에서 누적된 키/값(KV) 캐시를 메모리에서 스트리밍해야 하므로, 대역폭 수요는 문맥 길이에 따라 증가하는 반면 한 번에 단 하나의 토큰만 생성된다. 이에 따라 두 가지 병렬적 접근법이 등장했다. 하나는 효율적인 어텐션 변형과 Mamba 같은 선형 시간 믹서를 활용해 메모리 접근을 줄이는 방식이고, 다른 하나는 한 번에 토큰 블록을 생성하여 병렬 연산을 늘리는 방식이다. 그러나 이 두 아이디어를 결합할 때 기술적 어려움이 발생한다. DiffuMamba와 같은 기존 하이브리드 확산 모델은 인과적 생성 방향에 대한 역방향 스캔을 포함하는 양방향 Mamba 믹싱을 사용한다. 이 역방향 스캔은 전체 시퀀스를 스캔해야 하므로, 해당 상태는 접두 문맥만으로 구성되지 않아 블록 단위로 확산을 수행할 때에도 캐시로 정확히 재사용할 수 없다. 본 논문에서는 역방향 Mamba 스캔을 현재 활성화된 디노이징 블록으로 제한함으로써 이 문제를 해결하는 BDLM Mamba–어텐션 하이브리드를 제안한다. 이를 통해 블록 간 정확한 캐싱이 가능해진다. 8,700만 매개변수 규모의 DCLM 스윕 실험에서 BDLM Mamba-H는 BDLM 어텐션 및 전체 시퀀스 기준선과 비교하여 C4-en 검증 퍼플렉서티 기준 최고 성능을 달성하였다. 3억 5,000만 매개변수 규모에서도 BDLM 어텐션과 경쟁력 있는 성능을 유지한다. 장문맥 추론에서 BDLM Mamba-H는 65K 토큰 기준으로 전체 시퀀스 DiffuMamba-H 대비 19.7배, 262K 토큰 기준으로 BDLM 어텐션 대비 3.7배의 처리량을 달성하였으며, 이는 Mamba 하이브리드가 잠재적인 장문맥 확산 아키텍처임을 보여준다.
긴 컨텍스트 대규모 언어 모델(LLM) 추론은 근본적인 충돌에 직면해 있습니다. 헤드 적응형 압축 알고리즘(예: Top-$p$ 핵 샘플링)은 메모리 예산을 동적으로 변동시켜 우수한 정확도를 제공하지만, 최신 추론 엔진(예: vLLM)은 CUDA 그래프와 PagedAttention을 활용하기 위해 고정된 정적 메모리 패턴을 요구합니다. 우리는 이 "정적-동적" 불일치를 HARD-KV로 해결합니다. HARD-KV는 동적 선택과 엄격한 시스템 제약을 연결하는 통합 프레임워크입니다. HARD-KV는 계단식 캐시(Cascade Cache) 계층 구조를 도입하여 밀집(dense), 희소(sparse), 압축(condensed) 티어에 걸쳐 토큰 생명주기를 관리합니다. 핵심적으로, 우리는 다양한 중요도 메트릭을 통합된 확률 공간으로 정규화하는 로짓 보정(Logits Calibration) 메커니즘을 제안하여, 이질적인 헤드들 간에 일관된 Top-$p$ 예산 할당을 가능하게 합니다. 효율성 격차를 해소하기 위해, 단편화된 동적 인덱스를 고성능 추론 엔진과 호환되는 연속적인 물리적 레이아웃으로 재작성하는 시스템 수준의 솔루션을 제공합니다. 수학적 추론 벤치마크(AIME, U-Math)에 대한 광범위한 실험을 통해 HARD-KV가 정적 기준선 대비 최대 2$\times$ 처리량 향상을 달성하면서도 10k+ 토큰 시나리오에서 높은 충실도의 생성을 유지함을 검증합니다. 코드는 https://github.com/SuDIS-ZJU/HARDInfer 에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 긴 컨텍스트 입력을 처리하는 능력 덕분에 질의응답과 요약 같은 복잡한 작업에서 뛰어난 성능을 보인다. 그러나 LLM 배포는 비용이 높은데, 셀프 어텐션의 이차 복잡도와 자기회귀 생성에 따른 높은 연산 요구뿐만 아니라, 추론 과정에서 키-값(KV) 캐시 저장에 필요한 상당한 메모리 오버헤드 때문이기도 하다. 메모리 비용을 줄이기 위해 기존 KV 캐시 제거 전략들은 어텐션의 희소성을 활용하여 토큰의 일부만 선택적으로 저장한다. 이러한 접근법들은 메모리 사용량을 줄이면서도, 특히 긴 컨텍스트 추론을 요구하는 작업에서 상당한 성능 저하를 보인다. 우리는 이 성능 저하가 고유 토큰의 커버리지 감소와 연관되어 있음을 밝힌다. 또한, 커버리지 감소가 입력과 출력 간의 상호 정보량을 제한하여 예측 정확도를 저하시킨다는 것을 이론적으로 보인다. 이를 위해, 우리는 캐시에서 토큰을 제거할 때 토큰 커버리지를 우선시하는 새로운 커버리지 인식 KV 캐시 제거 전략인 K-VEC을 제안한다. K-VEC은 어텐션 헤드와 모델 층 전반에 걸친 토큰 보존을 강화하기 위해 크로스 헤드 및 크로스 층 커버리지 모듈을 도입하여, 낮은 커버리지로 인한 성능 저하를 완화한다. 16개의 LongBench 서브셋에서 평가한 결과, K-VEC은 동일한 제거율과 메모리 제약 하에서 기존 방법 대비 최대 10.35점의 성능 향상을 보인다. 포괄적인 평가를 통해 우리 접근법의 효과성을 검증하고, 자원 제약 환경에서의 효율적인 LLM 배포 가능성을 입증한다.
전체 어텐션과 슬라이딩 윈도우 어텐션을 혼합하는 하이브리드 모델에서 어떤 레이어가 전체 어텐션을 유지해야 하는지를 결정하기 위해, 해당 레이어를 슬라이딩 윈도우로 교체했을 때 답변 토큰의 음의 로그 가능도(NLL) 손실을 직접 측정하는 학습 없는 레이어 선택 방법을 제안한다. Qwen3-4B로 LongMemEval 벤치마크에서 전체 어텐션 레이어의 1/4만 사용해 64.6% 정확도를 달성하며 주기적 1/2-FA 기준선(65.0%)에 근접하고, 주기적 1/4-FA 기준선 대비 10.4%p, LightTransfer 스타일 기준선 대비 26.4%p 높은 성능을 보인다.
대규모 언어 모델(LLM)의 긴 문맥(long-context) 디코딩은 키-값(Key-Value, KV) 캐시에 접근하고 처리하는 비용에 의해 제한됩니다. 어텐션 출력이 키와 값에 공동으로 의존한다는 증거가 있음에도 불구하고, 값을 통합하는 것이 과도한 오버헤드를 초래하기 때문에 대부분의 기존 KV 관리 방법은 키 전용(key-only) 가지치기에 의존합니다. 본 논문에서는 커널 실행 중 누적된 어텐션 출력을 추적하고 추가적인 기여가 무시할 수 있게 되면 후속 KV 블록 접근을 종료하는 가벼운 런타임 메커니즘인 어텐션 런타임 종료(ART)를 제안합니다. ART는 KV 선택을 대체하는 것이 아니라, 기존의 밀집(dense) 또는 희소(sparse) 어텐션 정책 위에서 중복된 KV 순회(traversal)를 동적으로 종료합니다. 중간 어텐션 출력의 크기와 방향의 변화를 모두 모니터링하는 안정성 기반(stability-based) 기준을 도입하고, 결과적으로 발생하는 절단 오차(truncation error)에 대한 이론적 특성화를 제공합니다. LongBench 및 RULER Needle-in-a-Haystack 작업에 대한 실험 결과, ART는 결과 품질을 저하시키지 않으면서 기존 KV 캐시 방법의 생성 처리량(throughput)을 최대 20%까지 증가시키는 것으로 나타났습니다.