본 논문에서는 일치하는 근사 보장(approximation guarantees)을 유지하면서 비인과적(non-causal) 어텐션 근사를 인과적(causal) 근사로 변환하는 새로운 도구인 Express를 소개합니다. SOTA(최첨단) Thinformer 근사와 결합했을 때, Express는 길이 $n$의 시퀀스에 대해 $O(s)$의 메모리와 $O(s^2 \log^2(n))$의 압축 오버헤드만으로 $\log^{3/2}(n)/s$의 근사 오차를 제공하여 기존에 가장 잘 알려진 인과적 어텐션 보장을 향상시킵니다. 이러한 개발 내용을 효율적인 I/O 인식 Triton 구현과 결합하여 FlashAttention 2 대비 상당한 속도 향상을 입증하며, 언어 모델링 파이프라인에서 발생하는 네 가지 자원 병목 현상인 긴 문맥 프리필(long-context prefill), KV 캐시 압축, 긴 형태의 메모리 제약 디코딩, 긴 형태의 연산 제약 디코딩을 극복하는 데 Express를 활용합니다.
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
SnapKV, H2O, PyramidKV와 같은 학습 불필요(training-free) KV 캐시(KV-cache) 압축 기법들은 프리필(prefill) 단계의 끝에서 토큰을 제거하여 향후 쿼리가 사용할 것으로 예상되는 어텐션 가중치 합(attention mass)을 보존하는 것을 목표로 하며, 즉 '무엇을 남길지'를 최적화합니다. 본 논문에서는 이러한 목표가 두 가지 서로 다른 방식으로 실패함을 보입니다. (1) 보상(Compensation): 제거된 어텐션 가중치 합을 복원하면 태스크 품질을 회복하지 못한 채 어텐션 수준의 목표치만 복구될 수 있습니다. (2) 선택(Selection): 복원된 가중치 합이 일관된 구간에 집중되지 않고 분절되어 있을 경우, 실제 디코드 쿼리 가중치 합을 더 많이 포함하더라도 오히려 품질이 저하될 수 있습니다. 이러한 실패는 공통된 원인을 공유합니다. 즉, 답변의 궤적을 결정하는 쿼리가 존재하기 전에 제거가 발생한다는 점입니다. 이에 따라 본 연구에서는 전체 캐시를 사용하여 첫 k=2개의 답변 토큰을 초안(draft)으로 생성할 때까지 제거를 연기하는 초안 유도 제거(Draft-Guided Eviction, DGE)를 제안합니다. 이는 프리필을 넘어 단 1회의 디코드 단계에 불과합니다. 초안은 답변 자체의 접두 문맥(prefix)으로부터 생성되므로, 이러한 궤적 신호를 사용할 수 있게 되기 전까지는 어떠한 캐시 항목도 폐기되지 않습니다. 헤드별 캐시 예산은 그대로 유지되며, DGE는 제거 점수를 수정하지 않고도 SnapKV, PyramidKV, H2O, StreamingLLM에 직접 적용할 수 있습니다. 추가 패스(extra-pass)를 사용하는 방식과 달리, DGE는 어떤 캐시 항목을 선택할지가 아니라 언제 제거가 일어나는지를 변경합니다. 광범위한 실험을 통해 DGE는 평가된 6개 인스트럭션 튜닝(instruct-tuned) 백본 중 5개에서 모든 평가 예산에 걸쳐 기존 기법보다 뛰어난 성능을 보였으며, LongBench에서 44.2점을 기록하여 FullKV의 44.3점에 거의 근접함을 입증했습니다. 시점만 조절한 대조군인 DGE-W 역시 동일한 점수를 기록하였는데, 이는 성능 향상이 무엇을 선택하는가가 아니라 언제 제거가 일어나는가에서 비롯됨을 보여주며, 본 연구에서는 이러한 효과를 '궤적 앵커링(trajectory anchoring)'이라 부릅니다.
비전-언어(vision-language) 모델을 기반으로 구축된 그래픽 사용자 인터페이스(GUI) 에이전트(agent)는 인간과 컴퓨터 간의 워크플로를 자동화하는 유망한 접근 방식으로 부상했습니다. 그러나 고해상도 스크린샷의 긴 시퀀스를 처리하고 장기적인(long-horizon) 작업을 해결해야 하므로 추론(inference)이 느리고 비용이 많이 들며 메모리 제약이 심해지는 비효율성 문제에 직면해 있습니다. 키-값(KV) 캐싱으로 이를 완화할 수 있지만, 이미지가 많은 컨텍스트에서는 전체 캐시를 저장하는 데 큰 부담이 따릅니다. 기존의 캐시 압축 방법들은 GUI의 공간적 및 시간적 중복성을 고려하지 않기 때문에 최적의 성능을 내지 못합니다. 본 연구에서는 먼저 GUI 에이전트 워크로드의 어텐션(attention) 패턴을 분석하여, 자연 이미지와 달리 모든 트랜스포머(transformer) 층(layer)에 걸쳐 어텐션 희소성(sparsity)이 균일하게 높다는 점을 발견했습니다. 이러한 통찰을 바탕으로 단순한 균일 예산 할당 전략을 고안했으며, 이것이 더 복잡한 층별 가변 방식보다 실증적으로 우수함을 보였습니다. 이를 기반으로 재학습이 필요 없는 GUI 에이전트용 플러그 앤 플레이 KV 캐시 압축 방법인 GUI-KV를 제안합니다. GUI-KV는 두 가지 새로운 기술을 결합합니다: (i) 은닉 상태의 L2 노름으로 어텐션 점수를 보강하여 의미론적으로 중요한 시각적 토큰을 더 잘 보존하는 공간적 현저성(spatial saliency) 안내, 그리고 (ii) 이전 프레임의 키를 현재 프레임의 키 부분공간에 투영하여 중복된 히스토리를 우선적으로 프루닝(pruning)하는 시간적 중복성 스코어링입니다. 표준 GUI 에이전트 벤치마크 및 모델 전반에서 GUI-KV는 경쟁력 있는 KV 압축 기준선(baseline)들을 능가하며, 적당한 예산에서도 전체 캐시 정확도에 밀접하게 근접합니다. 특히 AgentNetBench 벤치마크의 5개 스크린샷 설정에서 GUI-KV는 전체 캐시 기준선 대비 디코딩 FLOPs를 38.9% 줄이는 동시에 단계별 정확도를 4.1% 향상시켰습니다. 이러한 결과는 GUI 고유의 중복성을 활용함으로써 효율적이고 신뢰할 수 있는 에이전트 성능을 달성할 수 있음을 보여줍니다.
희소 긴 문맥(long-context) 추론에서는 프리필(prefill)과 디코드(decode) 단계 모두에서 효율적인 토큰 검색이 필요합니다. 기존 방식들은 종종 두 단계에 서로 다른 검색 전략을 사용하여, 추론 전반에 걸쳐 하나의 검색 표현을 재사용하지 못합니다. 본 논문에서는 공유된 변환 도메인 부호-크기(sign-magnitude) 표현을 기반으로 구축된 별도의 학습이 필요 없는(training-free) 프레임워크인 자체 색인 어텐션(Self-Indexing Attention)을 제안합니다. 키(key) 부호는 그룹화된 프리필 선택 및 디코드 검색을 위한 재사용 가능한 토큰 수준의 색인을 제공하며, 동일한 표현이 별도의 색인기 메타데이터 없이도 외부 KV 캐시 압축과 호환성을 유지합니다. 이 1비트 색인은 최신 가속기에서 널리 지원되는 비트 단위 연산을 통해 효율적인 검색을 가능하게 합니다. 5%의 어텐션 밀도에서 Self-Indexing Attention은 LongBench 및 RULER에서 밀집(dense) 어텐션에 근접한 성능을 유지하며, 프리필에서 최대 6.1배, 디코드에서 최대 10.3배의 어텐션 연산자 속도 향상을 달성합니다. TurboQuant 및 DeepSeekV4-Flash를 사용한 실험은 저비트 KV 캐시 압축 및 사전학습된 희소 어텐션 색인기와의 호환성을 추가로 입증합니다.
다음 질문을 알기 전에 키-값(KV) 캐시를 압축하려면 어떤 근거가 중요해질지 모르는 상태에서 무엇을 유지할지 결정해야 합니다. 값 에너지(value energy)는 항목의 강도를 측정하지만 고립된 키와 유사한 이웃이 많은 키를 구분하지 못합니다. 본 연구에서는 비국소 post-RoPE 키 빈도로 값 에너지를 할인하는 무학습(training-free) 방식인 TwinKV를 소개합니다. 접두 문맥(prefix) 어텐션으로 헤드 용량을 할당하는 동시에, 유지된 항목은 정확한 저장 예산 내에서 원래 키와 값을 보존합니다. 네 가지 언어 모델(model)에 걸쳐 TwinKV는 50% KV 제거 시 LongBench, LooGLE, RULER에서 평가된 다섯 가지 압축 베이스라인의 평균 점수를 상회합니다. 구성 요소 통제 실험을 통해 빈도의 기여도를 분리 분석했습니다. 75% 제거 조건의 Llama-3.2-1B RULER에서 정규화된 빈도 가중치는 평균 0.95에 불과하지만, 비보호 유지 위치의 7%를 변경하고 균일 용량 및 적응형 용량 모두에서 값 전용 유지 대비 성능을 약 5.5점 향상시킵니다. 헤드 내에서 가중치를 무작위 치환(permuting)하면 이러한 이득이 약화됩니다. 이 결과는 완만한 빈도 보정만으로도 유지 및 답변 결과가 달라질 수 있으며, 그 효과는 모델과 작업에 따라 달라짐을 보여줍니다.
키-값(KV) 캐시의 메모리 점유 공간은 긴 문맥(long-context) 모델의 실용적 활용을 제약하며, 사전 채움(prefilled)된 단일 문맥이 이후 여러 다양한 질의를 처리해야 할 때 비용의 대부분을 차지합니다. 이러한 재사용 환경에서 질의 무관(query-agnostic) 압축은 비용과 품질 간의 트레이드오프를 가집니다. 경량 추정기는 연산 비용이 저렴하지만 정확도가 낮고, 전체 문맥 재구성 점수 산정 방식은 더 정확하지만 전체 프롬프트(prompt)를 다시 처리해야 합니다. 본 연구에서는 선택적 재구성을 기반으로 한 질의 무관 KV 캐시 압축 기법인 KV$^2$를 소개합니다. KV$^2$는 먼저 경량 프록시 점수 산정기를 사용하여 문맥 내 유익한 토큰을 식별한 다음, 이 하위 집합만을 다시 처리하여 최종 축출(eviction) 점수를 계산합니다. RULER, Needle-in-a-Haystack, LongBench 벤치마크에서 KV$^2$는 예산이 빠듯해질수록 기준선(baseline) 대비 마진(margin) 격차를 넓힙니다. 2%의 KV 캐시 예산을 사용한 RULER 16K에서 차상위 기준선 대비 평균 점수를 40%p 이상 향상시켰으며, LongBench에서는 2%~10% 예산 전반에 걸쳐 전체 문맥 재구성 방식보다 압축 단계의 실행 시간 및 피크 메모리를 낮추면서도 가장 높은 평균 점수를 달성했습니다. 따라서 재사용 가능한 KV 캐시 압축은 전체 문맥을 다시 처리할 필요가 없습니다. 본 연구의 코드는 https://anonymous.4open.science/r/KVsquared-0B97 에서 확인할 수 있습니다.
긴 사고의 연쇄(Chain-of-Thought) 추론은 자기회귀 디코딩(autoregressive decoding) 과정에서 KV 캐시 메모리를 크게 증가시킵니다. 생성되는 모든 토큰이 새로운 키 및 값 상태를 도입하여 캐시가 디코딩 길이에 따라 선형적으로 증가하기 때문입니다. 기존의 KV 캐시 압축 방식은 일반적으로 토큰 축출(token eviction)을 통해 이러한 증가를 억제하지만, 비가역적인 삭제는 이후 추론 과정에서 다시 참조해야 할 과거 상태를 제거할 수 있습니다. SVD 기반 저차원(low-rank) 압축은 보다 조밀한 표현을 통해 모든 위치를 보존함으로써 대안을 제공합니다. 그러나 이를 고정된 프롬프트 캐시에서 온라인 디코딩으로 확장하는 것은 간단하지 않습니다. 본 연구의 조사를 통해, 새로운 토큰에 맞춰 기저(basis)를 업데이트하는 반면 이전 토큰들이 과거 기저에서의 좌표를 유지할 경우 저장된 히스토리가 크게 표류(drift)한다는 점을 발견했습니다. 이러한 관찰을 바탕으로, 긴 호흡의 추론을 위한 온라인 저차원 KV 캐시 압축 기법인 iS-KV를 제안합니다. iS-KV는 최근 윈도우는 정확하게 유지하면서 오래된 상태들을 유계 랭크(bounded-rank) 표현으로 점진적으로 접어 넣습니다. 또한 저차원 기저가 발전함에 따라 과거 좌표를 업데이트된 기저와 동기화하여 표현 일관성을 유지합니다. DeepSeek-R1-Distill-Llama-8B에서 iS-KV는 영구 KV를 4.06배 압축하면서도 원본 모델의 83.6%에 근접한 82.6%의 정확도를 달성했습니다. Qwen3-8B에서는 5.64배 압축에서 89.2%의 정확도를 달성했습니다. 동일한 메모리 예산 조건에서 iS-KV는 토큰 축출 기반의 베이스라인 모델들을 일관되게 능가합니다.
멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 추론 능력을 달성하지만, 긴 시각적 컨텍스트에서 대규모 KV 캐시와 높은 디코딩 지연 시간을 유발합니다. 기존의 압축 방법들은 안정적인 토큰 중요도 추정을 위해 관측 윈도우 어텐션에 의존하지만, 이러한 집계 방식은 희소하고 결정적인 근거를 희석시키고 공격적인 압축 환경에서 답변과 관련된 토큰을 버릴 수 있습니다. 본 논문에서는 이러한 근거를 복원하기 위한 보완적 신호로 마지막 쿼리 어텐션을 식별하였으나, 이의 무관한 신호들이 추가적인 노이즈를 유발할 수 있음을 확인했습니다. 이에 따라 관측 윈도우 어텐션을 마지막 쿼리 근거로 보정하는 동시에, 층 내 일관성과 층 간 지속성을 통해 노이즈를 억제하는 플러그 앤 플레이 방식인 BACON을 제안합니다. 다양한 벤치마크, 모델, 예산 및 압축 방법 전반에 걸쳐 BACON은 가장 공격적인 예산 조건에서 멀티모달 KV 캐시 압축 성능을 평균 7.5% 향상시켰으며 최대 30.9%의 개선 효과를 보였습니다.
인간은 시각적 장면을 묘사할 때 전체 이미지를 균일하게 처리하지 않고, 의도한 설명과 관련된 영역을 선택적으로 응시합니다. 반면, 현재의 멀티모달 대규모 언어 모델(MLLM)은 모든 시각적 토큰에 어텐션(attention)을 적용하므로 집중도가 분산되고 불필요한 계산 오버헤드가 발생합니다. 기존의 효율화 기법들은 주로 생성 전에 시각 정보를 압축하거나 폐기하므로, 이후의 예측에 필요한 세부 정보를 잃을 위험이 있습니다. 본 연구에서는 MLLM이 각 생성 단계의 요구에 따라 시각적 영역을 선택할 수 있도록 하는 메커니즘인 Gaze Attention을 소개합니다. Gaze Attention은 시각 토큰들을 공간적 영역으로 그룹화하고 현재 예측과 관련된 영역을 선택함으로써, 관련 시각 콘텐츠에 집중하는 동시에 어텐션 연산을 줄입니다. 또한 이미지나 비디오 프레임을 요약하는 학습 가능한 컨텍스트 토큰을 도입하여, 선택적 어텐션 환경에서도 전역적 맥락을 보존합니다. 13개의 이미지 및 6개의 비디오 이해 벤치마크에 대한 실험 결과, Gaze Attention은 최대 90% 더 적은 시각 KV 엔트리를 사용하면서도 조밀 어텐션(dense-attention) 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다. 아울러 동일한 시각 KV 예산 조건에서 KV 캐시 축출(eviction) 베이스라인보다 더 높은 평균 성능을 달성했습니다.
효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.
가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.
어텐션 메커니즘은 현대 트랜스포머 아키텍처의 핵심 요소입니다. 그러나 그 표현력은 2차 시간 복잡도와 선형 공간 사용량이라는 비용을 수반합니다. 특히, 고전적인 트랜스포머 아키텍처는 다음 요소를 생성하기 위해 이전에 본 모든 입력 요소(토큰)를 명시적으로 저장합니다. 제한된 공간에서 트랜스포머를 구현하는 문제는 KV 캐시 압축(KV cache compression)으로 알려져 있으며, 지난 몇 년간 큰 관심을 받아 강력한 휴리스틱(heuristics) 개발을 촉진했습니다. Haris et al., COLT'25와 Kochetkova et al., NeurIPS'25의 최근 연구들은 KV 캐시 압축을 스트리밍 어텐션 근사 문제로 공식화하여, (불일치 이론에 기반한) 상한과 정보 이론적 하한을 모두 제공했습니다. 그러나 해당 논문들은 상한과 하한 사이에 상당한 격차를 남겨두었습니다. 예를 들어, 이들의 알고리즘의 공간 사용량은 정밀도 매개변수에 따라 증가하지만, 하한은 더 강해지지 않습니다. 본 연구에서 우리는 스트리밍 어텐션 근사 문제를 다시 살펴보고, 그 공간 복잡도에 대한 거의 정밀한(nearly tight) 경계를 제공합니다. 알고리즘 측면에서, 우리는 커널 밀도 추정을 위한 세 가지 서로 다른 방법인 불일치 기반 코어셋 구성(예: Charikar-Kapralov-Waingarten'24), 다항식 방법(예: Greengard-Rokhlin'87, Alman-Song'23), 그리고 공간 분할(예: Andoni-Laarhoven-Razenshteyn-Waingarten'17, Charikar-Kapralov-Nouri-Siminelakis'20) 사이의 놀라울 정도로 긴밀한 상호작용을 통해 이 결과를 달성했습니다. 하한 측면에서, 우리의 주요 기술적 기여는 다량의 사이드 정보(side information)와 함께 INDEX 문제를 사용하는 새로운 기법으로, 이 기법이 다른 고차원 기하학적 추정 문제에서도 유용할 것으로 기대합니다.