PyTorchKR Papers

최신 논문

총 56편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11552v3cs.CL

확산 모델에게 좌측에서 우측으로의 추측을 가르치기

Teaching Diffusion to Speculate Left-to-Right

대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 성능을 달성하지만, 본질적으로 순차적인 토큰 생성으로 인해 자기회귀 디코딩 과정에서 상당한 추론 비용이 발생합니다. 사양 디코딩은 가벼운 드래프트 모델을 사용하여 여러 미래 토큰을 제안하고, 이를 더 큰 타겟 모델이 병렬로 검증하는 방식으로 이 병목 현상을 해결합니다. 최근 연구에서는 확산 언어 모델이 드래프트 토큰의 전체 블록을 병렬로 생성할 수 있어 자기회귀 드래프팅의 순차적 제약을 완화할 수 있으므로 이 설정에 매우 적합하다는 것이 입증되었습니다. 이 체계의 미묘한 점은 블록 확산 드래프터가 블록 내에서 토큰을 양방향으로 생성하는 반면, 검증은 토큰을 엄격하게 좌측에서 우측으로 평가하는 자기회귀 타겟 모델에 의해 수행된다는 것입니다. 이로 인해 대칭적인 학습 시간 목적 함수와 비대칭적인 검증 시간 보상 사이에 격차가 발생합니다. 본 연구에서는 이러한 격차를 좁히는 세 가지 학습 시간 개입에 대한 실증적 분석을 제공합니다: 토큰 위치 가중치, 각 블록 내에서 수락된 접두 문맥을 깨뜨리는 위치를 타겟팅하는 첫 번째 오류 포컬 손실, 그리고 기대 수락 길이에 대한 미분 가능한 대리 함수를 대체하는 체인 손실 항입니다. 이 세 가지 개입은 서로 직교하는 축(위치, 블록 조건부 첫 번째 오류, 결합 접두 문맥)을 따라 작동하며 가산적으로 결합됩니다. 또한 이들은 다중 드래프트 자기 선택과 같은 테스트 시간 정렬 메커니즘과도 직교하므로 원칙적으로 결합할 수 있습니다. 4개의 타겟 모델과 6개의 추론, 코드, 대화 벤치마크에서 이 세 가지 개입은 추가적인 순방향 패스를 추가하거나 추론 파이프라인 및 거부 샘플링 정확성 계약을 변경하지 않고, 위치 균일 기준선 대비 벤치마크당 수락된 드래프트 길이를 21-76% 증가시켰습니다.

arXiv:2610.13778v1cs.LG

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2610.13708v1cs.AI

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.10929v1cs.CR

스피드범프: 투기적 디코딩에 대한 거절 공격

Speedbumps: Rejection Attacks on Speculative Decoding

투기적 디코딩(Speculative decoding)은 단일 타깃 모델 순전파에서 여러 초안 토큰을 검증함으로써 대규모 언어 모델(LLM) 추론 속도를 높이고 비용을 줄이는 널리 사용되는 기법이다. 이로부터 얻는 이점은 초안 모델(drafter)이 타깃 모델의 분포를 얼마나 잘 근사하는지에 달려 있다. 본 연구에서는 초안 모델과 타깃 모델 간의 불일치를 더 자주 유발하여 초안 주기당 수락되는 초안 토큰 수를 줄이는 새로운 공격군인 투기적 거절 공격(Speculative Rejection Attacks, SRA)을 연구한다. 이는 생성된 토큰당 필요한 타깃 모델의 순전파 횟수를 늘려 피해자의 추론 속도를 늦추고 비용을 증가시킨다. 우리는 공격자가 제어하는 콘텐츠에 적대적 접미사를 추가하여 피해자 프롬프트에 대한 투기적 디코딩 성능을 저하시키는 두 가지 공격을 소개한다. 두 공격 모두 수락되는 투기적 접두 문맥의 기대 길이를 최적화하며, 초안 제안에 대한 타깃 모델의 확률로부터 깊이별 수락률을 추정하거나(Speedbump-P), 초안과 타깃 분포 간의 중첩 정도로부터 추정한다(Speedbump-D). 일부 경우에서 이러한 공격은 투기적 디코딩 속도를 자기회귀 디코딩보다 느려지는 수준까지 저하시킨다. 성능 저하 시 출력 품질이 감소하는데, 정규화(regularisation)를 적용하면 출력 품질은 복원되지만 성능 저하 효과 대부분을 포기하게 되어 은밀성과 효과성 사이의 트레이드오프가 발생한다. 또한 적대적 접미사는 샘플링 환경에서도 유효성을 유지하며, 초안 모델 간(Speedbump-P) 또는 초안 모델을 공유하는 타깃 모델 간(Speedbump-D)에 전이된다. 이러한 발견은 투기적 디코딩의 초안-타깃 상호작용이 적대적 입력을 통해 추론 비용을 부풀릴 수 있는 실질적인 공격 표면임을 보여준다.

arXiv:2610.02800v2cs.AI

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2609.00355v3cs.AI

비전은 오버헤드가 아니다: 비전-언어 모델에서의 손실 없는 추측 디코딩을 위한 원패스 블록 드래프팅

Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models

추측 디코딩(speculative decoding)은 출력을 바꾸지 않으면서 생성을 가속화하지만, 비전-언어 모델(VLM)에서는 자기강화적 순환 구조가 이를 가로막는다. 자기회귀(autoregressive) 드래프터는 드래프트한 토큰마다 순차적인 패스를 거쳐야 하므로 작은 크기를 유지해야 하며, 매 패스마다 이미지에 주의를 기울이기 어렵다. 이 때문에 기존 연구들은 이미지를 압축하거나 숨기는 방식을 택했고, 그 결과 드래프터는 이미지가 결정하는 텍스트에 대해 가장 취약해졌다. 우리는 수정되지 않은 VLM 타겟에서 이러한 순환을 깨는 원패스 블록 드래프터인 GLANCE를 제시한다. GLANCE의 블록-디퓨전(block-diffusion) 헤드는 타겟의 이미 융합된 비전-언어 상태에 대해 단 한 번의 순전파(forward pass)로 블록 전체를 드래프트하며, 드래프트가 얼마나 깊든 멀티모달 컨텍스트를 단 한 번만 읽는다. 타겟은 넓은 후보 트리를 한 번의 패스로 검증하고 자신의 그리디(greedy) 출력을 정확히 커밋한다. 고정된 라운드 예산을 사용하는 하나의 프로덕션 엔진에서, GLANCE는 자기회귀 디코딩보다 최대 3.05배 빠르게 디코딩하며, 평균적으로, 그리고 그라운딩(grounded) 작업에서는 약 11% 더 높은 성능으로 프로덕션 EAGLE3-VL 헤드를 앞선다. 엔트로피 법칙은 드래프팅이 언제 유리한지를 설명하며, 타겟의 다음 토큰 엔트로피가 가장 낮은 그라운딩 작업에서 가장 긴 수용 블록을 예측한다. 코드는 https://github.com/js-lee-AI/GLANCE 에서 확인할 수 있다.

arXiv:2610.02670v1cs.LG

LEAP: LLM 에이전트를 위한 효율적인 행동 제안 학습

LEAP: Learning Efficient Action Proposals For LLM Agents

대규모 언어 모델(LLM) 에이전트는 롤아웃(rollout) 과정이 느린 것으로 알려져 있습니다. 에이전트는 한 번에 한 단계씩 작업을 완료합니다. 각 단계에서 에이전트는 추론을 수행한 후 실행할 행동을 선택합니다. 다음 단계와 행동은 이전 단계가 끝날 때까지 시작될 수 없습니다. 추측 디코딩(speculative decoding)은 추론 토큰을 초안 작성(drafting)하고 검증함으로써 추론 단계에서의 롤아웃 속도를 가속합니다. 최근 연구들에서는 행동 단계에도 유사한 아이디어를 적용하기 시작했습니다. 이러한 연구들은 타깃 모델(target model)이 검증할 수 있도록 행동 제안 초안을 작성하기 위해 기존에 구축된 상용 모델(off-the-shelf model), 주로 대형 모델을 사용합니다. 대형 초안 모델은 타깃과 더 자주 일치하지만 제안을 작성하는 데 더 오랜 시간이 걸리는 반면, 소형 상용 모델은 빠르지만 타깃과 동일한 결정을 내리는 경우가 드뭅니다. 본 논문에서는 더 일반적인 질문을 던집니다. 행동 추측의 엔드투엔드(end-to-end) 가속을 결정하는 요인은 무엇인가? 이에 답하기 위해, 본 연구에서는 추측 라운드에 대한 지연 시간(latency) 프레임워크를 개발합니다. 이 프레임워크는 한 라운드에서 얻는 이득과 소요되는 비용을 비교합니다. 이득은 초안 모델이 타깃을 얼마나 잘 예측하는지, 그리고 작업이 종료되기까지 얼마나 많은 단계를 거칠 수 있는지에 따라 달라집니다. 비용은 초안 작성, 타깃의 검증 대기 시간, 도구 실행에서 발생합니다. 이 프레임워크를 바탕으로, 본 연구에서는 초안 모델의 크기를 작게 유지하면서 타깃의 행동 시퀀스로 학습(training)시켜 정확도를 높이는 LEAP(Learning Efficient Action Proposals)을 소개합니다. 0.6B 크기의 소형 모델을 사용하는 LEAP은 대부분의 결정에서 타깃과 일치하며, 작업 성공률의 체계적인 변화 없이 에이전트의 엔드투엔드 실제 소요 시간(wall clock time)을 최대 60% 단축합니다. 다양한 데이터셋, 타깃 모델 및 초안 모델에 걸쳐 본 프레임워크는 측정된 속도 향상의 대부분을 설명합니다. 또한 사전 트레이스 수집 없이도 초안 모델을 온라인 학습할 수 있으며 오프라인 학습의 성능과 일치함을 입증하여, LEAP이 실제 환경에 배포하기에 실용적임을 보여줍니다.

arXiv:2610.02491v1cs.AI

토큰의 비용은 얼마인가? 에이전트 혼합(MoA) 관점에서 측정한 토큰당 충분 계산량

What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute

대규모 언어 모델(LLM)은 각 토큰을 생성하는 난이도와 관계없이 모든 생성 토큰에 동일한 양의 계산을 소비합니다. 추측 디코딩(speculative decoding) 및 모델 라우팅(model routing)과 같은 기법들은 이러한 계산 중 상당 부분이 불필요하다는 전제를 바탕으로 구축되었으나, 개별 토큰이 실제로 필요로 하는 계산량은 아직 측정된 바 없습니다. 본 연구에서는 에이전트 혼합(Mixture-of-Agents, MoA) 관점을 통해 이를 측정합니다. 즉, 세 가지 패밀리에서 추출한 증가하는 용량의 15개 언어 모델 패널을 구성하고, 각 에이전트가 올바른 선행 토큰을 조건으로 참조 시퀀스를 토큰별로 재현하도록 시도합니다. 우리는 성공한 가장 작은 에이전트의 추론 비용을 해당 토큰의 충분 계산량(sufficient compute)으로 정의하며, 이는 토큰이 요구하는 계산량의 상한을 설정합니다. 세 가지 핵심 벤치마크에서 0.5B 크기의 에이전트는 참조 토큰의 92--95%를 재현합니다. Qwen, OLMo, R1-distilled 패널 전반에서 가장 비용이 많이 드는 10%의 토큰이 추정 FLOPs의 64--80%를 차지합니다. 500개의 모든 MATH-500 문제에서 MoA 기반 맵은 모델 라우팅이 최적의 신뢰도 기반 라우팅 기준선 대비 정확도를 소폭 향상시키면서 예상 지연 시간을 7.59초에서 5.12초로 줄이도록 돕습니다. 또한 MoA 맵은 유사한 정확도에서 고정 윈도우 드래프팅에 비해 드래프팅이 32.6% 적은 드래프트 토큰을 사용하고 예상 지연 시간을 약 20% 단축하도록 돕습니다. 이러한 비교는 잔여 할당 여유(headroom)를 드러내며, 충분 계산량 구조를 활용하는 제어기 연구의 당위성을 제시합니다.

arXiv:2609.23900v2cs.LG

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

arXiv:2606.18967v2cs.LG

EfficientRollout: 강화학습 롤아웃을 위한 시스템 인식 자체 투기적 디코딩

EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts

강화학습(RL)은 대규모 언어 모델(LLM)의 대표적인 사후 학습(post-training) 패러다임으로 자리 잡아 강력한 추론 및 에이전트 역량을 가능하게 하고 있습니다. 그러나 자기회귀(AR) 샘플링은 응답을 순차적으로 디코딩하고 소수의 긴 꼬리(long-tailed) 생성이 완료 시간을 결정하는 경우가 많기 때문에, 롤아웃(rollout) 생성은 여전히 주요한 지연 시간 병목으로 남아 있습니다. 투기적 디코딩(SD)은 고정된 LLM 서빙을 위해 잘 확립된 기법으로, 타깃 모델 분포를 보존하면서 토큰을 빠르게 초안 작성(drafting)하고 병렬 검증을 통해 이를 수락함으로써 지연 시간을 줄입니다. 그러나 이러한 실질적인 속도 향상은 RL 롤아웃에 직접적으로 이어지지 않습니다. 그 이유는 (i) 진화하는 타깃 정책으로 인해 고정된 초안 작성기(drafter)는 정책의 출력 분포와 점차 불일치하게 되며, (ii) 롤아웃 디코딩 전반에 걸쳐 활성 배치(batch) 크기가 줄어들면서 병렬 검증이 유휴 연산 자원을 활용할 수 있는 연산 바운드(compute-bound) 영역에서 메모리 바운드(memory-bound) 영역으로 디코딩 양상이 전환되기 때문입니다. 따라서 RL 롤아웃을 가속화하려면 진화하는 정책의 긴 고온(high-temperature) 생성 환경에서도 효과를 유지하는 초안 작성기와, 연산 바운드 영역을 회피하는 시스템 인식 SD 활용이 모두 필요합니다. 본 논문에서는 RL 롤아웃의 이러한 격차를 해결하기 위해 설계된 시스템 인식 자체 SD 프레임워크인 EfficientRollout을 제안합니다. EfficientRollout은 타깃 모델로부터 양자화된 초안 작성기를 유도(즉, 자체 투기적 디코딩)하여 별도의 초안 작성기 사전학습이나 온라인 적응 없이도 진화하는 정책에 결합된 상태를 유지합니다. 또한 시스템 인식 SD 전환 정책을 수락 인식 초안 길이 적응과 조율하여, 유리한 영역에서만 투기를 활성화하는 동시에 초안 작성 예산을 진화하는 초안 작성기 품질에 맞춥니다. EfficientRollout은 최종 모델 품질을 보존하면서 가속화된 AR 롤아웃 기준선 대비 롤아웃 및 엔드투엔드 지연 시간을 각각 최대 24.2%와 15.6% 단축합니다.

arXiv:2610.01439v1cs.AI

DRelay: 접두 문맥 인식 병렬 추측 디코딩 복구를 위한 전역 초안 문맥

DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair

병렬 초안 작성(parallel drafting)은 대규모 언어 모델(LLM)을 위한 추측 디코딩(speculative decoding)의 초안 생성 오버헤드를 줄여주지만, 그로 인한 성능 향상은 수락되는 접두 문맥(prefix) 길이에 의해 여전히 제한됩니다. 올바른 토큰이 후보군에 존재하더라도, 초기에 발생한 단 하나의 선택 오류로 인해 후속 예측을 사용하지 못하게 됩니다. 본 논문에서는 타깃 모델의 검증 전에 전체 초안 블록의 전역 정보를 활용하여 후보 선택에 대한 접두 문맥 인식 선택적 복구를 수행하는 DRelay를 제안합니다. DRelay는 후보 간의 상관관계와 선택된 경로를 기반으로 결정을 내립니다. 즉, 전역 리더(global reader)가 각 후보에 대해 여러 위치에 걸친 예측 정보를 추출합니다. 동시에 인과적 선택기(causal selector)는 전역 판독을 통해 추출된 후보 수준 정보와 이전 위치에서 선택된 토큰들을 결합하여, 현재 위치의 기본 선택이 전역 증거 및 선택된 접두 문맥과 일치하는지 판단합니다. 그런 다음 해당 토큰을 유지할지 또는 교체할지 결정함으로써 초기 오류를 복구하고 수락되는 접두 문맥을 연장합니다. 나아가 초안 백본과 선택기를 공동으로 학습(training)시켜 후보 지원 학습과 복구 목적 함수를 결합하는 한편, 연속적으로 수락되는 접두 문맥에 대한 각 블록 위치의 잠재적 기여도에 따라 복구 손실(loss)에 가중치를 부여합니다. H800 GPU 기반의 8가지 다양한 벤치마크 전반에서 DRelay는 DFlash, Domino, DSpark 대비 평균 수락 길이와 엔드투엔드 디코딩 성능을 일관되게 향상시킵니다. SGLang 서빙 환경에서 DRelay는 DFlash, Domino, DSpark 대비 평균 엔드투엔드 속도 향상을 각각 14.7%~16.8%, 8.7%~9.3%, 8.1%~9.3% 달성합니다.

arXiv:2610.00623v1cs.CV

HAWK: 추측 디코딩을 위한 멀티모달 드래프팅의 재고

HAWK: Rethinking Multimodal Drafting for Speculative Decoding

추측 디코딩(Speculative decoding)은 대규모 언어 모델(LLM)에서 상당한 무손실 속도 향상을 달성했으나, 경량 드래프터(drafter)가 풍부한 멀티모달 정보를 활용하는 데 어려움을 겪는 대형 비전-언어 모델(LVLM)에서는 여전히 효과가 떨어집니다. 또 다른 한계점은 표준적인 지식 증류(distillation)가 드래프터 자체의 제안 이후 타깃 예측이 어떻게 변화하는지 모델링하지 않고, 오직 원래의 학습(training) 궤적을 따라서만 드래프터를 지도한다는 점입니다. 드래프팅이 이 궤적에서 벗어남에 따라 드래프터와 타깃 간의 불일치가 점차 커져 이후 단계에서의 수락률이 감소할 수 있습니다. 본 논문에서는 이 두 가지 한계를 모두 해결하기 위해 HAWK를 제안합니다. HAWK는 표현 유사도를 활용하여 정보량이 많은 타깃 레이어를 선택하고 이들의 은닉 상태(hidden state)를 결합하는 방법을 학습합니다. 시각 정보의 경우, 원시 시각 토큰(raw visual token) 대신 타깃 모델에서 압축된 시각 은닉 상태를 드래프터에 직접 제공함으로써 얕은 드래프터가 시각 정보를 더 쉽게 활용할 수 있도록 합니다. 또한 HAWK는 드래프터가 자체 제안 이후 타깃 예측이 어떻게 변하는지 포착하도록 학습시켜, 다단계 드래프팅 과정에서 타깃 모델과의 일치도를 향상시킵니다. 10개의 멀티모달 벤치마크에 걸쳐 SmolVLM-256M을 평가한 결과, HAWK는 그리디 디코딩(greedy decoding) 환경에서 EAGLE-3 대비 평균 수락 길이를 3.32에서 4.08로, 속도 향상을 2.19배에서 2.60배로 끌어올렸으며, 샘플링 환경에서는 2.89에서 3.41로, 1.92배에서 2.19배로 향상시켰습니다.

arXiv:2609.27396v1cs.CL

병렬 Drafter가 병렬 추측 디코딩을 만날 때

When Parallel Drafter Meets Parallel Speculative Decoding

DSpark 스타일의 병렬 drafter는 추측 디코딩(speculative decoding)을 매우 효과적으로 만들었지만, draft 단계는 여전히 매 라운드 임계 경로(critical path)에서 직렬로 실행된다. 병렬 추측 디코딩(PSD)은 drafting과 검증(verification)을 겹치게 하지만, 기존 방법은 수용된 접두 문맥(prefix)과 보너스 토큰(bonus token)을 미리 추측해야 하며, 잘못된 추측은 전체 배치를 직렬 drafting으로 되돌린다. 우리는 효과적인 병렬 drafter를 재사용하면서도 매 라운드마다 백본–검증 겹침을 보장해 이러한 확률적 fallback을 완전히 없애는 PSD 프레임워크인 DPara를 제안한다. target이 검증하는 동안 DPara의 diffusion 백본은 보너스를 정하지 않은 채 모든 acceptance boundary에 대한 draft representation을 미리 계산하고, 경량 자기회귀(autoregressive) head가 드러난 검증 결과와 대응하는 사전 계산 representation을 결합해 다음 라운드의 draft 토큰을 거의 즉시 내보낸다—지배적인 백본 forward를 검증과 완전히 병렬화하고 무시할 수 있는 head 비용만 직렬로 남긴다. Qwen3-8B와 Qwen3-14B에 대해 수학·코딩·채팅 벤치마크 7개에서의 실험은 DPara가 자기회귀 디코딩 대비 평균 $3.21\times$ 및 $3.52\times$ 속도 향상을 달성하며, 가장 강한 직렬·병렬 추측 디코딩 baseline을 모두 능가함을 보여준다.

arXiv:2609.26638v1cs.CL

확산 모델이 초안을 작성하고 자기회귀 모델이 검증한다: 자기-투기적 디코딩을 통한 문서 OCR 가속

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

자기회귀(AR) OCR 비전-언어 모델은 문서 이미지를 텍스트와 구조화된 마크업으로 정확하게 변환하지만, 출력 토큰당 하나의 순차적 디코딩 단계를 필요로 하여 추론(inference) 속도가 제한됩니다. 자유형 텍스트 생성과 달리 OCR 출력은 입력 이미지에 강력하게 그라운딩(grounding)되어 있어, 확산(diffusion) 기반 병렬 생성이 유망합니다. 그러나 하나의 확산 단계에서 여러 토큰이 예측될 때, 각 토큰은 다른 토큰들을 알기 전에 예측됩니다. 따라서 이를 직접 확정(commit)하면 오류가 발생할 수 있습니다. 이에 따라 우리는 병렬 초안 작성(drafting)과 인과적 AR 검증을 위해 공동 학습(joint training)된 매개변수 공유 AR-블록-확산 모델인 GravityOCR을 제안합니다. 확정 전에 초안을 검증함으로써 모델은 별도의 초안 작성 네트워크 없이도 라운드당 여러 출력 토큰을 확정할 수 있습니다. 또한 인과적 AR 경로는 시퀀스 및 구조 수준의 OCR 보상을 사용하는 GRPO를 가능하게 하여, 확산 궤적의 가능도(likelihood) 추정을 피하면서 공유된 초안 작성기 매개변수를 업데이트합니다. OmniDocBench v1.6에서 AR 경로 GRPO는 확산 초안 작성 효율성을 저하시키지 않으면서 종합(Overall) 점수를 94.92에서 95.16으로 향상시키며, 최종 모델은 원래 GLM-OCR 점수인 95.48에 근접하게 유지됩니다. SGLang 서빙 배포 환경에서 GravityOCR은 순전파(forward pass)당 평균 9.7개의 출력 토큰을 확정하며, 영역 크롭(region crop)에서 디코드 전용 속도 $3.94\times$ 향상 및 AR 디코딩 대비 $1.32\times$ 엔드투엔드 페이지 처리 가속을 달성합니다.

arXiv:2609.26100v1cs.CL

TSS: 도메인 특화 대규모 언어 모델의 추측 디코딩을 위한 타깃 측 희소화

TSS: Target-Side Sparsification for Speculative Decoding in Domain-Specific Large Language Models

추측 디코딩(speculative decoding)은 경량 드래프트 모델과 타깃 검증기(target verifier)의 협업을 통해 대규모 언어 모델 추론을 가속한다. 기존 방법은 주로 드래프트 측을 개선하며, 타깃 모델은 일반적으로 밀집(dense) 상태 그대로 변경 없이 유지된다. 본 논문은 도메인 특화 추론에서 전체 깊이의 타깃 검증이 항상 최적의 선택은 아님을 보인다. 직관과 반대로, 선택된 타깃 층을 건너뛰면 검증 비용을 줄이는 동시에 드래프트 수용률을 높일 수 있으며, 하위 작업 성능도 유지하거나 오히려 향상시킬 수 있다. 이러한 관찰에 기반하여 추측 디코딩을 위한 타깃 측 희소화 프레임워크인 TSS를 제안한다. TSS는 수용률(acceptance)과 지표(metric)를 모두 고려하는 너비 탐색(breadth search)을 사용해, 두 목표 사이에 고정된 우선순위를 부과하지 않고 다중 층 건너뛰기 구성을 탐색한다. 선택된 구성은 도메인-구성 매핑에 저장되고 경량 스킵 컨트롤러(skip controller)에 의해 적용되므로, 재학습이나 영구적인 매개변수 가지치기 없이 하나의 완전한 타깃 모델이 여러 희소 검증 경로를 지원할 수 있다. 여러 도메인, 모델 규모, 추측 디코딩 방법에 걸친 Spec-Bench 실험에서 드래프트 수용률과 하위 작업 성능이 일관되게 향상됨을 확인했다. 번역(Translation) 설정에서 TSS는 평균 수용 길이(average accept length)를 2.70에서 4.53으로(+67.8%) 늘리고, BLEU를 0.131에서 0.237로(+80.9%) 향상시켰으며, 종단 간(end-to-end) 처리량을 75.6에서 127.3 tokens/s로 높여 1.68배의 속도 향상을 달성했다.

arXiv:2608.20530v2cs.CL

LiLiCorr: 투기 디코딩을 위한 병렬 초안의 경량 가능도 상관

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

투기 디코딩(speculative decoding)은 대상 모델이 병렬로 검증하는 미래 토큰을 초안으로 작성하여 언어 모델 추론을 가속한다. DFlash와 같은 확산 스타일 초안 작성기(drafter)는 한 번의 순전파(forward pass)로 전체 블록을 초안으로 작성한다. 이는 블록에 대한 결합 분포가 아니라 위치별 주변(marginal) 분포로 학습되므로, 생성하는 토큰은 개별적으로는 그럴듯하지만 결합적으로는 비일관적이다. 우리는 이러한 초안 작성기가 생성하는 위치별 주변 분포를 상관시키는 경량 가능도(likelihood) 기반 모델 LiLiCorr(Lightweight Likelihood Correlation)을 제안한다. 각 위치에서 상위 K개 토큰을 유지하고 이를 공동으로 처리하여, 각각에 대해 in 벡터와 out 벡터를 출력한다. 연속된 두 위치의 후보는 앞쪽 out 벡터가 뒤쪽 in 벡터와 코사인 유사도(cosine similarity)로 정렬될 때 매칭된다. 학습(training)은 올바른 짝(pairing)의 점수를 가장 높게 하고 경쟁 짝은 낮추어, 일관적인 블록이 비일관적인 블록보다 높은 점수를 받도록 한다. 길이에 대해 지수적으로 커지는 블록 위 결합 분포는 실제로 구현(materialize)되지 않는다. 경량 네트워크 한 번의 패스로 모든 벡터를 생성하고, 쌍별 점수는 배치 행렬 연산으로 이어지며, 저렴한 탐욕(greedy) walk만 순차적으로 남는다. DFlash 초안 작성기를 LiLiCorr과 공동 학습(co-train)하여, 상관되어 더 긴 수용(accepted) 시퀀스를 형성하는 후보를 제안하도록 한다. 기반으로 하는 vanilla DFlash 초안 작성기 대비 LiLiCorr은 우리가 시험한 72개 설정 모두에서 더 많이 수용하고 더 빠르게 서빙한다: 탐욕(greedy) 및 temperature=1 디코딩 하에서 두 대상 크기의 아홉 벤치마크, 더불어 여섯 동시성(concurrency), 두 입력 길이, 세 출력 엔트로피(output-entropy) 구간에 대한 처리량(throughput) 스위프. 수용 길이(acceptance length)를 7~19% 높이며, 단일 패스 scoring head의 비용은 블록당 지연의 약 3%에 불과하다. 초안 작성 시점에 일관성을 복원하는 동시에 개발된 세 방법과 비교(공통 스택에서 동등하게 최적화)할 때, LiLiCorr은 해당 설정 63곳에서 최고 처리량을, 6곳에서는 측정된 노이즈 바(noise floor) 내에서 동률, 3곳에서만 뒤처진다.

arXiv:2609.24847v1cs.AR

SPECTRA: 런타임 재구성 가능한 타일형 아키텍처 상에서의 추측 디코딩 적응형 실행

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

엣지 디바이스에서의 LLM 추론은 연산 및 메모리 자원의 제약을 받아, 효율적인 자기회귀적(autoregressive) 디코딩을 어렵게 만든다. 추측 디코딩(speculative decoding)은 더 작은 드래프트 모델(draft model)로 토큰을 생성하고, 배치된 타겟 모델(target model) 패스로 여러 토큰을 병렬로 검증함으로써 이러한 병목을 완화한다. 그러나 검증(verification) 과정은 디코딩에서의 메모리 바운드(memory-bound) 범용 행렬-벡터 곱(GEMV) 연산과 프리필(prefill)에서의 연산 바운드(compute-bound) 범용 행렬-행렬 곱(GEMM) 연산 사이에 런타임에 의존적인 중간 영역(intermediate regime)을 만들어내는데, 이는 산술 강도(arithmetic intensity)가 추측 길이(speculation length)와 수락률(acceptance rate)에 따라 달라지기 때문이다. 우리는 전체 추측 디코딩 파이프라인에 걸쳐 높은 활용률을 유지하는 런타임 재구성 가능한 타일형 아키텍처인 SPECTRA를 제시한다. 각 타일 내에서 연산 엔진은 GEMM을 위한 시스톨릭(systolic) 실행과 GEMV를 위한 벡터 레인(vector-lane) 실행 사이를 전환한다. 타일 간에는 SPECTRA가 타일 개수, 커널 분할(kernel partitioning), 통신 패턴을 선택함으로써 연산 병렬성을 동적으로 적응시킨다. 타일 수준과 시스템 수준의 재구성 모두 커널 단위로 동작하여, 이러한 다양한 영역에서 효율적인 실행을 가능하게 한다. Pythia, SmolLM2, GPT-2 계열에 걸쳐 20개 타일 FPGA 프로토타입에서 평가한 결과, SPECTRA는 고정 설계 대비 타일 수준 재구성으로 최대 $2.09\times$의 속도 향상을, 시스템 수준 적응성으로부터 추가로 $1.25\times$의 향상을 달성한다.

arXiv:2608.05926v2cs.NI

BALANCE: 네트워크 엣지에서의 하이브리드 자기회귀-추측 LLM 추론

BALANCE: Hybrid Autoregressive-Speculative LLM Inference at the Network Edge

엣지 추론은 차세대 모바일 네트워크에서 대규모 언어 모델(LLM) 추론 서비스를 제공하기 위한 유망한 패러다임이다. LLM 추론은 주로 두 가지 접근에 의존한다. 자기회귀 디코딩(AD)은 출력 토큰을 순차적으로 생성하여 긴 지연을 초래한다. 추측 디코딩(SD)은 소형 언어 모델(SLM)을 사용해 LLM 검증을 위한 여러 초안(draft) 토큰을 생성함으로써 추론을 가속하지만 추가 메모리 비용이 발생한다. 이러한 지연-메모리 트레이드오프로 인해, 제한된 엣지 컴퓨팅 자원 하에서 이질적인 수요를 가진 사용자를 어느 한 접근만으로는 효율적으로 서비스할 수 없다. 이 문제를 해결하기 위해 우리는 엣지 LLM 추론을 위한 하이브리드 자기회귀-추측 추론(BALANCE) 프레임워크를 제안한다. BALANCE에서는 엣지 서버가 SLM과 LLM을 모두 호스팅하고, 사용자를 수용하며, 수용된 각 사용자를 AD 또는 SD 모드에 배정하고 두 모드를 동시에 수행한다. 서비스 가능한 사용자 수를 최대화하기 위해, 사용자 지연 요구사항과 서버 메모리 제약 하에서 사용자 수용과 AD와 SD 간 컴퓨팅 자원 할당을 공동으로 결정하는 작업 처리량(task throughput) 최대화 문제를 수식화한다. 문제가 NP-hard이므로, 원 문제를 두 개의 하위 문제로 변환하고 상수 근사 보장을 갖는 차준 최적(sub-optimal) 해를 구하는 다항 시간 알고리즘을 개발한다. 실험 결과 BALANCE가 기존 AD 및 SD를 일관되게 능가하며 작업 처리량을 크게 향상시킴을 보여준다.

arXiv:2605.30852v3cs.CL

추측 파이프라인 디코딩: 파이프라인 병렬화를 통한 고정확도 드래프팅과 숨겨진 지연

Speculative Pipeline Decoding: Higher-Accuracy Drafting with Hidden Latency via Pipeline Parallelism

추측 디코딩(Speculative Decoding, SD)은 draft-then-verify 패러다임으로 낮은 동시성 환경에서 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 주류 방법들은 다중 토큰 예측에 의존하여 예측 난이도가 누적되고 드래프트 지연이 드러나는 문제가 있다. 우리는 대상 LLM을 $n$개의 파이프라인 단계로 분할하여 단일 시퀀스의 $n$개 토큰이 병렬로 진행되도록 하는 추측 파이프라인 디코딩(Speculative Pipeline Decoding, SPD)을 제안한다. 파이프라인을 포화 상태로 유지하기 위해, 파이프라인 드래프트 모듈(Pipeline Draft Module, PDM)이 다중 깊이의 대상 특징을 집계해 다음 토큰을 예측하고 각 파이프라인 단계와 동시에 실행되어, 예측 난이도를 제한하고 수용률을 높이며 드래프트 지연을 숨긴다. 실험 결과, SPD는 중간 정도의 파이프라인 폭에서 EAGLE-3보다 더 높은 이론적·실제 벽시계 속도 향상을 달성하며, 더 공격적인 폭에서는 추가 이득의 여지가 남아 있다. 코드는 https://github.com/yuyijiong/speculative_pipeline_decoding 에서 제공된다.

arXiv:2607.22634v1cs.AI

PRESTO: 확산 추측 디코딩을 위한 접두 문맥 정렬 트리 드래프팅

PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding

확산 대규모 언어 모델(dLLM)은 토큰을 병렬로 생성하는 자기회귀(AR) LLM의 유망한 대안으로 부상했다. 이는 추측 디코딩(SD)의 드래프트 모델로 효과적이며, 단일 순전파로 드래프트 토큰 블록 전체를 생성할 수 있다. 그러나 기존 확산 기반 드래프팅 방법은 dLLM이 여러 위치에서 다수의 후보 토큰을 출력하여 디코딩 경로의 큰 조합 공간을 유발함에도 불구하고 선형 드래프팅에 의존한다. 결과적으로 수용 길이와 디코딩 효율이 제한된다. 이 다중 후보 구조를 활용하기 위해, 우리는 확산 드래프터에 트리 기반 드래프팅을 적용하여 다양한 후보 경로의 탐험을 가능하게 한다. 그러나 순진한 트리 드래프팅은 최적이 아님을 확인했다. 확산 marginal은 접두 문맥 맹목적(prefix-blind)이어서 접두 문맥 기반 AR 검증과 불일치하며, 신뢰할 수 없는 경로 순위를 초래한다. 우리는 PRESTO를 제안한다. 이는 확산 드래프터에 트리 기반 드래프팅을 확장하면서, 접두 문맥 정렬 점수(PREfix-aligned Scoring)와 확산 추측 디코딩을 위한 우선순위 기반 트리 탐색(priority-based Tree search for diffusion speculative decOding)을 통해 확산 드래프트 신뢰도와 접두 문맥 기반 AR 검증 간의 근본적 불일치를 해소하는 원칙적 프레임워크이다. PRESTO의 핵심 원칙은 (1) 후보 순위가 AR 검증의 접두 문맥 기반 특성과 정렬되어야 하며, (2) 트리 구성이 검증 잠재력이 높은 후보 경로를 우선하여 수용 길이를 극대화해야 한다는 것이다. 광범위한 실험에서 PRESTO는 최신 전용 확산 드래프터 SD에서 평균 최대 $1.5\times$의 엔드투엔드 처리량 가속을, 다양한 벤치마크에서 자기 추측(self-speculative) 확산 LLM에서 평균 $1.12\times$를 달성했다.