PyTorchKR Papers

최신 논문

총 106편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01520v2cs.LG

The risk of KV cache compression

Transformer inference on long sequences is expensive because softmax attention repeatedly reads from a large KV cache. The prevalent approach to this bottleneck is KV cache compression, which replaces the full cache with a compact summary. Despite its practical importance, the design of such summaries is largely driven by empirical experimentation. On the theoretical side, existing results show that KV cache compression can be impossible in the worst case, but offer little systematic guidance for designing algorithms in regimes where accurate compression is possible. We bridge this gap by characterizing the minimax risk of KV cache compression in terms of the intrinsic compressibility of a cache, revealing when and how accurate compression is possible. In particular, we show that, once attention can sharply retrieve individual tokens, compression can only uniformly outperform random sampling by exploiting information about future queries, regardless how redundant the cache is inherently. Additionally, our results yield novel design principles for KV cache compression under causal masking that map efficiently to prefill and autoregressive decoding while achieving minimax-optimal risk. We instantiate these principles in a practical algorithm and illustrate how our theoretical findings can be put to practical use. Overall, our results opens a principled avenue for KV cache compression with theoretical guarantees.

arXiv:2606.26631v2cs.CV

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

Multi-turn visual reasoning acquires evidence through repeated cropping and local inspection, but overlapping observations lead to redundant visual encoding and prefill. We propose an adaptive visual KV cache reuse framework that reduces repeated processing while retaining access to additional image detail. The central difficulty is that skipping visual prefill also removes the interaction between a new observation and the current reasoning: historical keys remain bound to old positions, while historical values have not incorporated the intent formed between crops. Our framework first selects full re-encoding or regional reuse according to crop size and cache availability. On the reuse path, Positional Key Rebinding (PKR) corrects attention matching at the new positions, and Intent-guided Value Enhancement (IVE) uses pre-crop reasoning attention to strengthen content relevant to the current objective. Source states from fully re-encoded crops are retained for subsequent retrieval and reuse. The framework requires no additional training on reuse hits, it bypasses the visual encoder and prefill for the selected visual tokens, then resumes normal text reasoning. Experiments show that our method reduces inference time while preserving the overall accuracy of multi-turn visual reasoning that relies on intermediate crop images.

arXiv:2606.21023v2cs.LG

LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

As Large Language Models (LLMs) deploy into mission-critical domains (e.g., finance, medicine, and law), output reproducibility has become a strict system requirement. While practitioners use greedy decoding to eliminate algorithmic stochasticity, empirical deployments with 16-bit precisions still exhibit catastrophic output divergence across heterogeneous GPUs. Through SASS-level profiling, we reveal that this inconsistency is fundamentally driven by truncation errors introduced during downcasting at kernel boundaries. However, achieving reproducibility via a global FP32 pipeline incurs prohibitive system penalties: bypassing 16-bit hardware accelerators hurts compute efficiency, while upcasting the KV cache doubles memory overhead. To bridge this gap, we propose Hybrid Error ALleviation (HEAL), a targeted intervention that approximates FP32 precision while resolving hardware constraints through two targeted mechanisms. First, recognizing that floating-point formats underutilize their bit-width for Q, K, V tensors, HEAL applies INT16 quantization that preserves numerical stability without expanding the KV cache footprint. Second, HEAL synthesizes high-precision matrix multiplications via an algebraic error compensation strategy, executing entirely on high-throughput 16-bit Tensor Cores. To evaluate our approach practically, we introduce MCR-Bench, a benchmark targeting reproducibility in mission-critical tasks. HEAL achieves the same level of reproducibility on downstream tasks as the FP32 baseline while reducing the performance overhead by up to 6.0$\times$.

arXiv:2607.09153v2cs.AI

KV-PRM: 멀티 에이전트 테스트-타임 스케일링을 위한 KV-캐시 전달 기반 효율적인 프로세스 보상 모델링

KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling

프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.

arXiv:2606.31145v2cs.CL

SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시

SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference

Large language models increasingly operate over long contexts, where the KV cache grows linearly with sequence length and dominates memory during decoding. Token eviction discards entries permanently, and semantic compression fixes each unit's resolution at prefill, so detail that becomes relevant later cannot be recovered. We propose SeKV, a resolution-adaptive KV cache built around a trained zoom-in mechanism that decides at decode time which compressed spans to restore to token resolution. SeKV segments the context at high-surprisal positions, keeps anchor tokens and span summaries on GPU, and offloads low-rank factors of each span's keys and values to CPU. Lightweight per-head routers select query-relevant spans, which are reconstructed with a learned per-span rank. The cache is lossy but non-evicting: every span stays in attention, coarse or reconstructed. The base LLM stays frozen, and the router adds under 0.1% parameters. Across five backbones and four benchmarks at a 10% GPU-resident KV budget, SeKV outperforms every method that fixes resolution at prefill, improving over the strongest semantic baseline by 2.9 points (5.5% relative). It matches exact-recall offloading caches on LongBench and InfiniteBench and trails on synthetic exact retrieval, while transferring 3 times less data per decoding step than ShadowKV and using the least total memory among the methods we profile. At 128K context, it halves peak GPU memory and cuts total memory by one third relative to full KV caching.

arXiv:2606.21633v3cs.LG

HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval

Block diffusion LLMs (block dLLMs) improve decode throughput by generating tokens in parallel, and are emerging as a next-generation alternative to autoregressive LLMs. At long contexts, however, the KV cache remains a major throughput bottleneck in both memory bandwidth and capacity. For autoregressive LLMs, dynamic sparse attention is often combined with KV offloading to alleviate both bottlenecks, keeping the full KV cache in CPU DRAM and fetching only a critical subset to the GPU. However, KV subset selection and retrieval over bandwidth-limited PCIe incur substantial offloading overheads that often stall the GPU. We present HERALD, the first dynamic sparse attention method for block dLLMs that supports KV offloading. HERALD exploits a property of block dLLMs: a critical KV subset selected once per block is reused across all of its denoising steps, so the next block's selection can be hidden behind the current block's denoising. HERALD realizes this with a two-stage selection algorithm co-designed with its execution system. While the GPU denoises the current block, the CPU speculatively searches the full KV cache for the next block with a single query merged from the current block's B queries, cutting the selection compute by Bx; the GPU then refines the candidates into the final top-K subset with the next block's real queries. At K=1024, HERALD achieves near-lossless accuracy relative to Dense on LongBench and reasoning tasks across four block dLLMs, and improves decode throughput by up to 3.70x over Dense GPU-only inference, 2.59x over MAGE, a state-of-the-art block-dLLM sparse attention method, and 8.38x over MAGE-Offload, its direct KV-offloading extension.

arXiv:2606.18587v2cs.CL

지역 및 전역 어텐션을 위한 이중 차원성

Dual Dimensionality for Local and Global Attention

Decoder-only Transformers compute attention over the KV cache of preceding tokens. Keys and Values are typically represented with the same dimensionality, regardless of their distance from the prediction target. In natural language, however, the next word is most strongly influenced by the immediately preceding tokens. We hypothesize that local and distant tokens impose asymmetric demands on representational capacity: local tokens are more critical for predicting immediate outputs and thus require richer representations, whereas distant tokens primarily serve as long-range memory, for which lower-dimensional representations may suffice. We formalize this idea as Distance-Adaptive Representation (DAR), which preserves full-dimensional representations within a local context window while assigning reduced-dimensional representations (e.g. 1/2 or 1/4 of the original dimensionality) to tokens beyond that window. Across multiple pretraining scales (70M to 410M parameters), as well as continued supervised fine-tuning on a 1B-scale model, this approach closely matches the performance of full-dimensional baselines. In contrast, uniformly reducing dimensionality across all token positions leads to worse performance. These results challenge the common assumption that key and value dimensionality should be uniform across token positions. We further develop an efficient realization of DAR that achieves model quality comparable to the MLA baseline while reducing the average KV-cache size by 68.8\% at 8K context and achieving up to a $1.9\times$ decoding speedup at 128K context on the evaluated models. Our findings suggest a new direction for designing attention architectures that allocate representational capacity according to token distance to reduce KV-cache during inference.

arXiv:2607.21535v2cs.LG

Windowed-MTP: 백만 토큰 컨텍스트에서 전체 컨텍스트 Draft-KV 부담 제거

Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context

Speculative decoding accelerates autoregressive generation by having a draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP) draft head, assumed to be cheap beside verification. A shipped full-attention MTP head can become disproportionately expensive beside a hybrid target at long context. The head attends over the full KV cache for each of $\gamma$ draft forwards per decode step, while only 9-25% of target layers retain full attention, so a single draft layer can issue context reads at a rate comparable to the whole target. On hard, low-acceptance workloads, deep native MTP becomes net-negative: slower than no speculation. We apply a StreamingLLM-style window plus attention sink to the draft only (Windowed-MTP); target verification remains full-context, so the target distribution is preserved. The intervention is training-free and drop-in. On three models from two hybrid families (Gated DeltaNet and Mamba2) at 1M context on one GPU in SGLang, it provides an acceptance-free 1.28-1.44x per-decode-step speedup over native MTP. The speedup grows with context; at matched acceptance, TPOT improves by the same factor. The window removes most of the draft's working set, and a compact ring buffer converts that reduction into physical capacity: it reclaims the otherwise dead draft pool, a measured 7.7-11.1% of total KV at 1M, making room for one additional concurrent 1M request in the Qwen-35B batch sweep.

arXiv:2610.15721v1cs.LG

캐시할 것인가 말 것인가: 교차 모델 KV 캐시 재사용에서의 안전성 비호환성 이해 및 완화

To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse

교차 모델(cross-model) KV 캐시 공유는 수신자(receiver) 모델이 관련된 송신자(sender) 모델에서 생성된 접두 문맥(prefix) KV 상태를 재사용할 수 있도록 함으로써 프리필(prefill) 연산을 줄입니다. 기존 방법들은 이러한 재사용을 지연 시간과 생성 품질 측면에서 최적화하지만, 그에 따른 안전성(safety) 영향은 여전히 불분명합니다. 본 연구에서는 다양한 송신자-수신자 모델 쌍과 재사용 구성 전반에 걸쳐 이 문제를 체계적으로 평가합니다. 우리는 수신자 모델 고유의 안전성 동작에서 벗어나는 현상을 '안전성 비호환성(safety incompatibility)'이라고 정의합니다. 연구 결과, 안전성 비호환성의 방향과 크기는 모델 쌍과 재사용 구성에 따라 달라지며, 평가된 모든 쌍에서 value 재사용이 key 재사용보다 훨씬 더 큰 편차를 유발하는 것으로 나타났습니다. 나아가, 디코딩 전에 재사용된 송신자 value 텐서를 수신자 고유의 대응 텐서와 정렬하기 위해 층(layer)별 및 KV 헤드별 아핀 매핑(affine map)을 오프라인으로 학습하는 기법인 VReparo를 제안합니다. 전체 KV 재사용 및 최첨단 선택적 재사용 설정의 두 모델 쌍에 걸쳐, VReparo는 벤치마크에서 평균 85.62%의 첫 토큰 생성 시간(TTFT) 단축 효과를 유지하면서도 평균 HarmBench 공격 성공률(ASR)을 57.28%에서 39.21%로, 평균 StrongREJECT 점수를 0.4215에서 0.2163으로 낮춥니다.

arXiv:2610.13708v1cs.AI

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.10845v1cs.CL

AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.

arXiv:2607.23693v2cs.AI

전역적으로 계산하고 국소적으로 구체화하기: 희소 이벤트-KV의 메모리 계약

Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV

장기 호라이즌(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용하고 있으며, 서빙 시스템은 캐시된 항목의 일부만 유지하고 나머지는 제거(eviction)합니다. 따라서 축출 및 에피소드 메모리 방식은 거의 직접 검증되지 않은 전제, 즉 이벤트를 생성한 관측(observation)이 사라진 뒤에도 보존된 이벤트가 여전히 유용한 정보를 담고 있다는 전제에 의존합니다. 우리는 다른 조건이 동일한 에이전트 이력에서 서빙되는 내용 중 이전 관측 하나를 생략함으로써 이를 직접 검증합니다. 해당 관측에 민감한 항목들 중에서, 서빙된 텍스트 구간(span)에 어떤 값이 올바른지 명시되어 있지 않음에도 답은 압도적으로 생략된 값을 따릅니다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부릅니다. 즉, 하류(downstream) 이벤트의 캐시된 행들이 입력이 사라진 계산에 대해 독립적으로 서빙 가능한 뷰(view) 역할을 하는 것입니다. 이는 의도적으로 작성될 수도 있습니다. 의도적으로 표현된 무정답(answer-free) 이벤트는 값을 전혀 언급하지 않고도 Qwen3-8B에서 기증자 정렬 복구(donor-aligned recovery)를 6%에서 51%로 향상시키는 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 방식은 감지 가능한 이점을 보이지 못합니다. 이러한 행이 전달하는 정보는 구체적이고 제한적입니다. 간결한 상태(compact state)는 유지되지만 더 큰 페이로드는 무작위 확률 수준으로 감쇠하며, 특정 구조가 정보를 기록하는지 여부는 의미뿐만 아니라 표현 방식(phrasing)에 달려 있어 모델이 동등하게 이해하는 두 표현 간에도 큰 차이가 발생할 수 있습니다. 그 결과는 무엇을 기록할지, 어디에 도달할지, 소스가 사라진 후 무엇이 살아남는지를 규정하는 희소 이벤트-KV(sparse event-KV) 서빙을 위한 메모리 계약(memory contract)입니다. 캐시 축출을 수행하는 이들에게 따르는 당연한 귀결은, 소스 이벤트를 제거하고 정확도 손실이 관찰되지 않았다고 해서 그 소스가 불필요했음을 증명하는 것은 아니라는 점입니다.

arXiv:2604.21231v3cs.NI

SparKV: 효율적인 온디바이스 LLM 추론을 위한 오버헤드 인지형 KV 캐시 로딩

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

온디바이스 대규모 언어 모델(LLM)의 효율적인 추론은 제한된 하드웨어 자원과 전체 입력 문맥을 처리하여 키-값(KV) 캐시를 구성하는 프리필(prefill) 단계의 높은 비용으로 인해 여전히 어렵습니다. 본 논문에서는 클라우드 기반 KV 스트리밍과 온디바이스 연산을 결합한 적응형 KV 로딩 프레임워크인 SparKV를 제안합니다. SparKV는 개별 KV 청크의 비용을 모델링하여 각 청크를 스트리밍할지 아니면 로컬에서 연산할지 결정하며, 두 실행 경로를 중첩(overlap)하여 지연 시간을 줄입니다. 무선 연결성 및 엣지 자원 가용성의 변동에 대처하기 위해, SparKV는 런타임에 오프라인에서 생성된 스케줄을 추가로 개선하여 통신 및 연산 비용의 균형을 재조정합니다. 다양한 데이터셋, LLM 및 엣지 디바이스 전반에 걸친 실험 결과, SparKV는 응답 품질에 미치는 영향을 무시할 수 있는 수준으로 유지하면서 최초 토큰 생성 시간(Time-to-First-Token)을 1.3배~5.1배 단축하고, 요청당 에너지 소비를 1.5배~3.3배 절감하여 실제 온디바이스 배포를 위한 견고성과 실용성을 입증했습니다.

arXiv:2602.07878v2cs.CR

지연 시간 서비스 거부 재고: 모델이 아닌 LLM 서빙 프레임워크 공격

Rethinking Latency Denial-of-Service: Attacking the LLM Serving Framework, Not the Model

대규모 언어 모델(LLM) 추론(inference)은 본질적으로 비용이 많이 들기 때문에 약간의 지연만으로도 상당한 운영 비용과 심각한 가용성 위험으로 이어질 수 있습니다. 최근 지연 시간 공격(latency attacks)으로 알려진 연구들이 점차 늘어나며 최악의 출력 길이를 유발하는 입력을 제작하는 데 집중하고 있습니다. 그러나 본 논문에서는 이러한 알고리즘 수준의 지연 시간 공격이 최신 LLM 서빙 시스템에는 대체로 비효율적이라는 상반된 발견을 보고합니다. 연속 배치(continuous batching)와 같은 시스템 수준의 최적화가 논리적 격리를 제공하여 동일 환경에 위치한(co-located) 사용자들에게 전염되는 지연 시간 영향을 완화한다는 점을 밝힙니다. 이에 따라 본 논문에서는 초점을 알고리즘에서 시스템 층(layer)으로 전환하고, 스케줄러의 상태 전이를 겨냥한 새로운 'Fill and Squeeze' 공격 전략을 소개합니다. 'Fill' 단계는 먼저 전역 KV 캐시를 고갈시켜 헤드오브라인 블로킹(Head-of-Line blocking)을 유도하고, 'Squeeze' 단계는 시스템이 반복적인 선점(preemption)을 수행하도록 강제합니다. 서로 다른 공격 프롬프트를 사용해 출력 길이를 조작하고 메모리 상태의 부채널 프로빙을 활용함으로써, 훨씬 적은 비용으로 실질적인 블랙박스 환경에서 공격이 성공할 수 있음을 입증합니다. vLLM에 대한 광범위한 평가 결과, 정상 기준선 대비 TTFT가 최대 $75-742\times$ 저하되고 기존 공격 대비 30-40% 더 낮은 공격 비용으로 출력 토큰당 시간(Time Per Output Token)에서 평균 $1.5-4\times$ 감속이 발생하는 것으로 나타났습니다. 코드: https://github.com/Phil-Fan/FS-attack

arXiv:2607.28627v2cs.CV

ReToken: 시각 검색 토큰을 활용한 긴 문맥 VLM 성능 향상

ReToken: Improving Long-Context VLMs with Visual Retrieval Token

긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.

arXiv:2607.28263v2cs.CL

CoMem: 지속적 중간 잔차를 통해 여러 쿼리에 걸쳐 트랜스포머 깊이를 재사용하기

CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals

공유 문서에 대한 반복적인 쿼리는 동일한 하위 트랜스포머(transformer) 층(layer)들을 반복해서 실행합니다. 본 논문에서는 분할 깊이 j를 명시적인 재사용 가능 문맥 축으로 만드는 CoMem을 소개합니다. CoMem은 토큰(token)당 하나의 깊이 j 잔차를 기록하고, 유계 청크 집합을 선택하며, [j:L) 층만 재개합니다. 우리가 알고 있는 문서 재사용 시스템 중 CoMem은 분할 깊이를 조정 가능한 서빙 축으로 만들고 이를 일치하는 j=0 엔드포인트로 격리합니다. Qwen3-8B에서 j=12는 선택된 팩 Read를 931.9ms에서 664.4ms로 줄이며(1.403배), 3.12포인트의 RULER 비용(95% CI [2.36, 3.93])을 수반하지만, 연속 접두 문맥(continuous-prefix) 오라클은 전체 격차를 회복합니다. 그 결과로 생성된 깊이 축은 품질-지연 시간-스토리지 간의 트레이드오프를 정량화하며, 동일 어댑터를 사용하는 별도의 Write 포함 파이프라인은 2.74배 더 빠릅니다. 동일 지연 시간 기준 원시 재생(raw replay)은 BM25에서 11.56포인트 앞서며, 이는 선지불된 깊이의 적용 가능성 한계를 숨기지 않고 직접 측정합니다. CoMem은 토큰당 8KiB를 저장하는 반면, 프로토콜 정렬된 동일 Qwen3 CacheBlend 스타일 진단 방식은 토큰당 144KiB를 저장합니다(집단 및 적응 예산은 일치하지 않음). 문맥-위치 인수분해는 누락된 하위 층 문서 문맥을 테스트된 주요 멀티키 오류로 식별하며, 32토큰 오버랩은 지속 바이트나 쿼리당 Read를 늘리지 않고도 92.5에서 98.5로 점수를 높입니다. CoMem은 반복 쿼리 긴 문맥 서빙을 위해 트랜스포머 깊이를 측정 및 조정 가능한 차원으로 개방합니다.

arXiv:2606.22327v3cs.AI

LLM 서빙을 위한 기하학 인지 온라인 스케줄링: 이론적 경계에서 시스템 구현까지

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

대화형 대규모 언어 모델(LLM) 서빙이 급격히 증가함에 따라 동적 키-값(KV) 캐시 풋프린트의 효율적인 관리가 추론 성능에 점점 더 중요해지고 있습니다. 최신 추론 시스템은 최단 작업 우선(Shortest Job First)과 같은 시간 중심의 스케줄링 휴리스틱에 압도적으로 의존하고 있습니다. 그러나 이러한 방식의 고전적 보장은 전통적인 스케줄링 모델링에 기반을 두고 있어, LLM 추론 메커니즘 특유의 고도로 동적인 2차원 시공간 기하학적 증가를 포착하지 못합니다. 이를 해결하기 위해 본 논문에서는 최소 볼륨 우선(Smallest Volume First, SVF) 알고리즘과 그 고효율 변형인 1-bit SVF를 도입하여 기하학 인지 온라인 스케줄링을 제안합니다. 새로운 볼륨 인증서(volume-certificate) 증명을 통해, 고동시성 LLM 서빙 환경에서 SVF의 최악 조건 근사비가 \textbf{3}에 근접함을 규명하였으며, 이는 기존 최선의 상수인 48을 대폭 개선한 결과입니다. 이러한 핵심적 돌파구를 바탕으로, 다양한 트래픽 시나리오와 정보 가용성에 걸쳐 알고리즘을 분석하는 포괄적인 이론적 분류 체계를 완성했습니다. 시스템 구현 측면에서는 본 접근법을 vLLM의 플러그 앤 플레이 계층으로 매끄럽게 통합했습니다. Llama-3.1 모델을 대상으로 한 광범위한 평가는 종합적인 성능 향상을 입증합니다. SVF는 평균 지연 시간과 꼬리 지연 시간(tail latency)을 모두 크게 단축하며, 1-bit SVF는 단 1비트의 정보만으로도 경쟁력 있는 처리량과 지연 시간을 달성합니다. 본 연구는 최신 LLM 배포 환경에서 메모리 제약적 스케줄링 문제를 해결하기 위한 이론적으로 건실하고 실증적으로 검증된 접근법을 제시합니다. 향후 연구를 촉진하기 위해 코드는 https://github.com/Li-Beverly-Kong/Geometry-Aware-Online-Scheduling.git 에 공개되어 있습니다.

arXiv:2602.06317v3cs.LG

희소 디코딩을 위한 어텐션 질량 응축

Attention-Mass Condensation for Sparse Decoding

어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.

arXiv:2610.02800v2cs.AI

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2609.34060v2cs.LG

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.