실행 상태 캡슐: 저지연, 소배치, 온디바이스 물리적 AI 서빙을 위한 그래프 경계 실행 상태 체크포인트 및 복구
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
한국어 초록
주류 대규모 언어 모델(LLM) 서빙 시스템은 주로 페이징(paged) 또는 라딕스(radix) 키-값(KV) 캐시를 통해 접두 문맥(prefix) 작업을 재사용합니다. 이는 높은 처리량(high-throughput)과 높은 동시성(high-concurrency) 서빙에 매우 효과적이지만, 실행 상태(execution state)의 위치적 조각 중 하나인 KV 캐시만 관리합니다. 우리는 이와 반대되는 영역인 저지연, 소배치, 온디바이스 물리적 AI(Physical-AI) 서빙을 연구합니다. 여기서 대화형 LLM 에이전트, 음성 시스템, 로봇 정책(policy)은 제한된 반응성(responsiveness) 예산 하에서 반복적으로 분기(branch), 리셋(reset), 인터럽트(interrupt), 재진입(re-enter)합니다. 우리는 커밋된 경계에서 복구 가능한 전체 상태를 위한 그래프 경계(graph-bound) 체크포인트 및 복구 메커니즘인 실행 상태 캡슐(execution-state capsules)을 소개합니다. FlashRT는 평가된 NVIDIA CUDA 백엔드가 블록 테이블 간접 참조 없이 연속적인 정적 버퍼 상에서 캡처된 그래프 계획을 실행하는 화이트박스(white-box), 백엔드 지향 커널 런타임입니다. 라이브 상태가 명명된 버퍼들의 닫힌 집합이기 때문에, 캡슐은 KV, 순환 상태(recurrent state), 합성곱 상태(convolution state), MTP 상태, 메타데이터를 포함하여 전체 실행 경계를 스냅샷(snapshot), 복구(restore), 포크(fork), 또는 롤백(roll back)할 수 있습니다. 이는 재사용을 토큰 주소 지정된 KV 조각에서 그래프 경계의 실행 상태 경계로 이동시킵니다. RTX 5090에서 캡슐 복구는 저장된 상태 수준에서 바이트 단위로 정확(byte-exact)하며, 탐욕적 디코딩(greedy decode) 하에서 토큰이 동일(token-identical)합니다. KV만 사용하는 제거 실험(ablation)은 결과가 달라지며(diverges), 이는 순환 상태가 부하를 지탱하는 필수 요소임을 보여줍니다. GPU 상주 스냅샷 및 복구는 1밀리초 미만(sub-millisecond)이며, 콜드 프리필(cold prefill) 대비 TTFT(Time-To-First-Token) 속도 향상은 2k 토큰에서 3.9배에서 16k 토큰에서 27배로 증가합니다. Jetson AGX Thor 및 DGX Spark에서도 동일한 정확성 및 구조적 속성이 유지됩니다. 캡슐은 높은 처리량의 KV 캐시 서빙을 대체하는 것이 아니라, 명시적인 실행 상태 재사용을 위한 보완적인 지연 우선(latency-first) 서빙 지점을 정의합니다.
원문 초록
Mainstream LLM serving systems reuse prefix work mainly through paged or radix key-value (KV) caches. This is highly effective for high-throughput, high-concurrency serving, but it manages only one positional fragment of execution state: the KV cache. We study the opposite regime: low-latency, small-batch, on-device physical-AI serving, where interactive LLM agents, speech systems, and robot policies repeatedly branch, reset, interrupt, and re-enter under tight responsiveness budgets. We introduce execution-state capsules, a graph-bound checkpoint and restore mechanism for the complete restorable state at a committed boundary. FlashRT is a white-box, backend-facing kernel runtime whose evaluated NVIDIA CUDA backend runs captured graph plans over contiguous static buffers with no block-table indirection. Because the live state is a closed set of named buffers, a capsule can snapshot, restore, fork, or roll back the whole execution boundary, including KV, recurrent state, convolution state, MTP state, and metadata. This moves reuse from token-addressed KV fragments to graph-bound execution-state boundaries. On an RTX 5090, capsule restore is byte-exact at the stored-state level and token-identical under greedy decode. A KV-only ablation diverges, showing that recurrent state is load-bearing. GPU-resident snapshot and restore are sub-millisecond, and TTFT speedup over cold prefill grows from 3.9x at 2k tokens to 27x at 16k tokens. On Jetson AGX Thor and DGX Spark, the same correctness and structural properties hold. Capsules are not a replacement for high-throughput KV-cache serving; they define a complementary latency-first serving point for explicit execution-state reuse.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20537v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.
AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배
CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache
긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.