arXiv:2604.21231v3 cs.NI

SparKV: 효율적인 온디바이스 LLM 추론을 위한 오버헤드 인지형 KV 캐시 로딩

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

Hongyao Liu, Liuqun Zhai, Junyi Wang, Zhengru Fang, Jingshu Chen, Jun Huang

제출 2026-04-23

저자 비고

arXiv Comments

IoTJ

한국어 초록

온디바이스 대규모 언어 모델(LLM)의 효율적인 추론은 제한된 하드웨어 자원과 전체 입력 문맥을 처리하여 키-값(KV) 캐시를 구성하는 프리필(prefill) 단계의 높은 비용으로 인해 여전히 어렵습니다. 본 논문에서는 클라우드 기반 KV 스트리밍과 온디바이스 연산을 결합한 적응형 KV 로딩 프레임워크인 SparKV를 제안합니다. SparKV는 개별 KV 청크의 비용을 모델링하여 각 청크를 스트리밍할지 아니면 로컬에서 연산할지 결정하며, 두 실행 경로를 중첩(overlap)하여 지연 시간을 줄입니다. 무선 연결성 및 엣지 자원 가용성의 변동에 대처하기 위해, SparKV는 런타임에 오프라인에서 생성된 스케줄을 추가로 개선하여 통신 및 연산 비용의 균형을 재조정합니다. 다양한 데이터셋, LLM 및 엣지 디바이스 전반에 걸친 실험 결과, SparKV는 응답 품질에 미치는 영향을 무시할 수 있는 수준으로 유지하면서 최초 토큰 생성 시간(Time-to-First-Token)을 1.3배~5.1배 단축하고, 요청당 에너지 소비를 1.5배~3.3배 절감하여 실제 온디바이스 배포를 위한 견고성과 실용성을 입증했습니다.

원문 초록

Efficient inference for on-device Large Language Models (LLMs) remains challenging due to limited hardware resources and the high cost of the prefill stage, which processes the full input context to construct Key-Value (KV) caches. We present SparKV, an adaptive KV loading framework that combines cloud-based KV streaming with on-device computation. SparKV models the cost of individual KV chunks and decides whether each chunk should be streamed or computed locally, while overlapping the two execution paths to reduce latency. To handle fluctuations in wireless connectivity and edge resource availability, SparKV further refines offline-generated schedules at runtime to rebalance communication and computation costs. Experiments across diverse datasets, LLMs, and edge devices show that SparKV reduces Time-to-First-Token by 1.3$x-5.1x with negligible impact on response quality, while lowering per-request energy consumption by 1.5x to 3.3x, demonstrating its robustness and practicality for real-world on-device deployment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.21231v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.13708v1cs.AI공통 태그 Computational Efficiency, kv cache

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.10845v1cs.CL공통 태그 Computational Efficiency, kv cache

AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.

arXiv:2610.10929v1cs.CR공통 태그 Computational Efficiency, llm inference

스피드범프: 투기적 디코딩에 대한 거절 공격

Speedbumps: Rejection Attacks on Speculative Decoding

투기적 디코딩(Speculative decoding)은 단일 타깃 모델 순전파에서 여러 초안 토큰을 검증함으로써 대규모 언어 모델(LLM) 추론 속도를 높이고 비용을 줄이는 널리 사용되는 기법이다. 이로부터 얻는 이점은 초안 모델(drafter)이 타깃 모델의 분포를 얼마나 잘 근사하는지에 달려 있다. 본 연구에서는 초안 모델과 타깃 모델 간의 불일치를 더 자주 유발하여 초안 주기당 수락되는 초안 토큰 수를 줄이는 새로운 공격군인 투기적 거절 공격(Speculative Rejection Attacks, SRA)을 연구한다. 이는 생성된 토큰당 필요한 타깃 모델의 순전파 횟수를 늘려 피해자의 추론 속도를 늦추고 비용을 증가시킨다. 우리는 공격자가 제어하는 콘텐츠에 적대적 접미사를 추가하여 피해자 프롬프트에 대한 투기적 디코딩 성능을 저하시키는 두 가지 공격을 소개한다. 두 공격 모두 수락되는 투기적 접두 문맥의 기대 길이를 최적화하며, 초안 제안에 대한 타깃 모델의 확률로부터 깊이별 수락률을 추정하거나(Speedbump-P), 초안과 타깃 분포 간의 중첩 정도로부터 추정한다(Speedbump-D). 일부 경우에서 이러한 공격은 투기적 디코딩 속도를 자기회귀 디코딩보다 느려지는 수준까지 저하시킨다. 성능 저하 시 출력 품질이 감소하는데, 정규화(regularisation)를 적용하면 출력 품질은 복원되지만 성능 저하 효과 대부분을 포기하게 되어 은밀성과 효과성 사이의 트레이드오프가 발생한다. 또한 적대적 접미사는 샘플링 환경에서도 유효성을 유지하며, 초안 모델 간(Speedbump-P) 또는 초안 모델을 공유하는 타깃 모델 간(Speedbump-D)에 전이된다. 이러한 발견은 투기적 디코딩의 초안-타깃 상호작용이 적대적 입력을 통해 추론 비용을 부풀릴 수 있는 실질적인 공격 표면임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.