arXiv:2610.13708v1 cs.AI

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

Naji Alazhar, Wassel Alazhar

제출 2026-10-09

저자 비고

arXiv Comments

16 pages, 11 figures, 6 tables

한국어 초록

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

원문 초록

Long-context serving runs out of KV memory before the hardware reaches its useful throughput. HiSparse stores history in host memory and fetches only the selected entries, but it uses one cache budget at every load and does not handle draft-model speculative decoding such as DSpark and DFlash2. We present Adaptive DHiSparse, which supports speculative decoding over hierarchical sparse KV and adapts residency to load. It protects the required working set, retains additional history while GPU memory is spare, and recovers the rest through exact fused retrieval. DSpark and DFlash2 keep their proposal and acceptance rules: queries share missing-row retrieval, draft KV uses a window-bounded ring, and verification staging is reused across layer groups. At 100K context and concurrency 128, GLM-5.3 with DFlash2 delivers 793 output tokens/s per decode GPU, 1.45$\times$ HiSparse and 1.27$\times$ non-speculative adaptive serving. Held to the same latency bounds as HiSparse, it sustains up to 4$\times$ the concurrency and 2.3 to 3.7$\times$ the output, depending on the per-token bound. On DeepSeek-V4.1-Flash at 500K context and concurrency 512, Adaptive DHiSparse with DSpark delivers 1.85$\times$ the output of resident serving with DSpark. In a load step, optional residency reduces host fetches from 14.2% to 1.4% of selected rows at low load and releases memory under pressure.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13708v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10845v1cs.CL공통 태그 GPU, Computational Efficiency, kv cache

AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.

arXiv:2609.34060v2cs.LG공통 태그 GPU, Computational Efficiency, kv cache

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.

arXiv:2610.02235v1cs.AR공통 태그 Computational Efficiency, kv cache, long-context inference

CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배

CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache

긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.

arXiv:2609.27294v1cs.LG공통 태그 Decoder, Computational Efficiency, kv cache

KITE: 효율적인 에이전트 LLM 스케일링을 위한 KV 불변 트랜스포머 확장

KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

언어 모델 스케일링은 최종 품질만의 문제가 아니다. 아키텍처 선택은 특정 모델 품질을 달성하기 위해 학습, 프롬프트 처리, 자기회귀(autoregressive) 디코딩에 얼마나 많은 연산이 소비되는지를 결정한다. 이상적인 모델 아키텍처는 더 큰 모델로의 스케일링을 촉진하기 위해 위의 모든 연산 비용을 낮추면서, 더 큰 모델이 실제로 더 작은 베이스라인보다 우수한 성능을 내야 한다. 우리는 이 목표를 달성하는 스케일링 패러다임인 KV 불변 트랜스포머 확장(KV-Invariant Transformer Expansion, KITE)을 제안한다. KITE는 모델을 더 작은 크기에서 더 큰 크기로 학습시키며(즉, 업사이클링(upcycling)을 통해 학습 비용을 절감), 새로 추가된 파라미터를 어텐션 KV에 영향을 주지 않는 영역에 배치한다. 따라서 추론 시 프리필(prefilling) KV는 모델의 더 작은 부분에만 의존하므로 추론 비용이 절감된다. 구체적인 구현으로, 한 타워가 KV를 생성하고 다른 타워가 이를 읽는 이중 타워 디코더인 Step Scale Transformer(SST)를 제시한다. 동등한 누적 학습 연산량에서, 디코드 토큰당 활성 body 파라미터 2.15B인 67B MoE 모델 SST는, 활성 body 파라미터가 각각 1.48B 및 2.02B인 47B 및 63B MoE 트랜스포머보다 더 낮은 학습 손실을 달성하면서, 추정 추론 비용을 각각 6.7% 및 31.6% 줄인다.

arXiv:2609.28006v1cs.LG공통 태그 Decoder, Computational Efficiency, kv cache

공유 전역 KV와 층별 로컬 히스토리

Shared Global KV with Layer-Specific Local History

디코더 전용 트랜스포머(Transformer) 언어 모델은 생성 과정에서 과거 연산을 재사용하기 위해 키와 값(KV)을 캐시한다. 층 간에 KV를 공유하면 저장 공간을 절약할 수 있지만, 깊이에 따라 사용할 수 있는 표현의 다양성이 줄어든다. 본 연구는 공유된 전역 KV와 함께 로컬 메모리가 무엇을 보존해야 하는지를 연구하며, 이때 히스토리 내용과 그것을 형성하는 데 사용되는 입력 소스를 구분한다. 126M 파라미터와 2K 컨텍스트에서 수행한 8개 시드 실험 결과, 로컬 히스토리를 사용한 경우가 현재 토큰 로컬 브랜치를 사용한 경우보다 보류(held-out) 테스트 퍼플렉시티가 약 1.4% 낮았다. 용량, 항목 수, 학습 연산량 통제 실험은 히스토리 내용의 가치를 뒷받침한다. 2개 시드 비교에서는 인접한 층이 로컬 입력을 공유하면서도 독립적인 프로젝션을 유지하는 경우에도 이 가치가 유지되며, 소스 공유는 정확한 캐시 구성 의존성도 단축한다. GQA 및 인접 층 KV 공유와 비교했을 때, 동일한 제한 범위의 학습률 탐색과 새로운 시드를 이용한 확인 실험에서 더 큰 캐시와 더 높은 긴 요청 지연 시간을 대가로 동일 소스 가능도가 더 우수했다. 인접 층 공유와의 이러한 순위는 동일 토큰 수로 8K까지 적응시킨 뒤에도 유지되지만, 짧은 컨텍스트에서는 비용이 발생한다. 8개 시드로 측정한 외부 도서 히스토리 효과는 여전히 불확실하며, 다운스트림 결과는 작업에 따라 다르다. 또한 정확한 산술 하에서 완전한 캐시를 보존하면서 상위 층의 구성 작업량을 줄이는 충분 접미사 스케줄(sufficient suffix schedule)을 유도한다.

arXiv:2609.28029v1math.NA공통 태그 Decoder, Computational Efficiency, kv cache

트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교

Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison

자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.