LiLiCorr: 투기 디코딩을 위한 병렬 초안의 경량 가능도 상관
LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding
한국어 초록
투기 디코딩(speculative decoding)은 대상 모델이 병렬로 검증하는 미래 토큰을 초안으로 작성하여 언어 모델 추론을 가속한다. DFlash와 같은 확산 스타일 초안 작성기(drafter)는 한 번의 순전파(forward pass)로 전체 블록을 초안으로 작성한다. 이는 블록에 대한 결합 분포가 아니라 위치별 주변(marginal) 분포로 학습되므로, 생성하는 토큰은 개별적으로는 그럴듯하지만 결합적으로는 비일관적이다. 우리는 이러한 초안 작성기가 생성하는 위치별 주변 분포를 상관시키는 경량 가능도(likelihood) 기반 모델 LiLiCorr(Lightweight Likelihood Correlation)을 제안한다. 각 위치에서 상위 K개 토큰을 유지하고 이를 공동으로 처리하여, 각각에 대해 in 벡터와 out 벡터를 출력한다. 연속된 두 위치의 후보는 앞쪽 out 벡터가 뒤쪽 in 벡터와 코사인 유사도(cosine similarity)로 정렬될 때 매칭된다. 학습(training)은 올바른 짝(pairing)의 점수를 가장 높게 하고 경쟁 짝은 낮추어, 일관적인 블록이 비일관적인 블록보다 높은 점수를 받도록 한다. 길이에 대해 지수적으로 커지는 블록 위 결합 분포는 실제로 구현(materialize)되지 않는다. 경량 네트워크 한 번의 패스로 모든 벡터를 생성하고, 쌍별 점수는 배치 행렬 연산으로 이어지며, 저렴한 탐욕(greedy) walk만 순차적으로 남는다. DFlash 초안 작성기를 LiLiCorr과 공동 학습(co-train)하여, 상관되어 더 긴 수용(accepted) 시퀀스를 형성하는 후보를 제안하도록 한다. 기반으로 하는 vanilla DFlash 초안 작성기 대비 LiLiCorr은 우리가 시험한 72개 설정 모두에서 더 많이 수용하고 더 빠르게 서빙한다: 탐욕(greedy) 및 temperature=1 디코딩 하에서 두 대상 크기의 아홉 벤치마크, 더불어 여섯 동시성(concurrency), 두 입력 길이, 세 출력 엔트로피(output-entropy) 구간에 대한 처리량(throughput) 스위프. 수용 길이(acceptance length)를 7~19% 높이며, 단일 패스 scoring head의 비용은 블록당 지연의 약 3%에 불과하다. 초안 작성 시점에 일관성을 복원하는 동시에 개발된 세 방법과 비교(공통 스택에서 동등하게 최적화)할 때, LiLiCorr은 해당 설정 63곳에서 최고 처리량을, 6곳에서는 측정된 노이즈 바(noise floor) 내에서 동률, 3곳에서만 뒤처진다.
원문 초록
Speculative decoding accelerates language-model inference by drafting future tokens the target model verifies in parallel. A diffusion-style drafter such as DFlash drafts an entire block in one forward pass. It is trained on the per-position marginals rather than on the joint distribution over the block, so the tokens it emits are individually plausible yet jointly incoherent. We introduce LiLiCorr, a Lightweight Likelihood-based model that Correlates the per-position marginals such a drafter produces. It keeps the top-K tokens at each position and processes them jointly, emitting an in and an out vector for each. Two candidates at consecutive positions match when the earlier out vector aligns, in cosine similarity, with the later in vector. Training scores the correct pairings highest and pushes competing ones down, so coherent blocks outscore incoherent ones. The joint distribution over the block, exponential in its length, is never materialized. One lightweight network pass produces all the vectors, the pairwise scores follow as batched matrix operations, leaving only a cheap greedy walk sequential. We co-train the DFlash drafter with LiLiCorr, so it proposes candidates that correlate into longer accepted sequences. Over the vanilla DFlash drafter it builds on, LiLiCorr accepts more and serves faster at all 72 settings we test: nine benchmarks at two target sizes under greedy and temperature-one decoding, plus a throughput sweep over six concurrencies, two input lengths and three output-entropy tiers. It raises acceptance length by 7 to 19%, while its single-pass scoring head costs only about 3% of the per-block latency. Against three concurrently developed methods that also restore coherence at draft time, all equally optimized on a common stack, LiLiCorr holds the highest throughput in 63 of those settings, ties within a measured noise floor in 6, and trails in only 3.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.20530v2제출 시각 미확인
- arXiv:2608.20530v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.
Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.
ReplaySSM: 상태 대신 SSM 입력 캐싱하기
ReplaySSM: Cache SSM Inputs, Not State
상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.
AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
스피드범프: 투기적 디코딩에 대한 거절 공격
Speedbumps: Rejection Attacks on Speculative Decoding
투기적 디코딩(Speculative decoding)은 단일 타깃 모델 순전파에서 여러 초안 토큰을 검증함으로써 대규모 언어 모델(LLM) 추론 속도를 높이고 비용을 줄이는 널리 사용되는 기법이다. 이로부터 얻는 이점은 초안 모델(drafter)이 타깃 모델의 분포를 얼마나 잘 근사하는지에 달려 있다. 본 연구에서는 초안 모델과 타깃 모델 간의 불일치를 더 자주 유발하여 초안 주기당 수락되는 초안 토큰 수를 줄이는 새로운 공격군인 투기적 거절 공격(Speculative Rejection Attacks, SRA)을 연구한다. 이는 생성된 토큰당 필요한 타깃 모델의 순전파 횟수를 늘려 피해자의 추론 속도를 늦추고 비용을 증가시킨다. 우리는 공격자가 제어하는 콘텐츠에 적대적 접미사를 추가하여 피해자 프롬프트에 대한 투기적 디코딩 성능을 저하시키는 두 가지 공격을 소개한다. 두 공격 모두 수락되는 투기적 접두 문맥의 기대 길이를 최적화하며, 초안 제안에 대한 타깃 모델의 확률로부터 깊이별 수락률을 추정하거나(Speedbump-P), 초안과 타깃 분포 간의 중첩 정도로부터 추정한다(Speedbump-D). 일부 경우에서 이러한 공격은 투기적 디코딩 속도를 자기회귀 디코딩보다 느려지는 수준까지 저하시킨다. 성능 저하 시 출력 품질이 감소하는데, 정규화(regularisation)를 적용하면 출력 품질은 복원되지만 성능 저하 효과 대부분을 포기하게 되어 은밀성과 효과성 사이의 트레이드오프가 발생한다. 또한 적대적 접미사는 샘플링 환경에서도 유효성을 유지하며, 초안 모델 간(Speedbump-P) 또는 초안 모델을 공유하는 타깃 모델 간(Speedbump-D)에 전이된다. 이러한 발견은 투기적 디코딩의 초안-타깃 상호작용이 적대적 입력을 통해 추론 비용을 부풀릴 수 있는 실질적인 공격 표면임을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.