PyTorchKR Papers

최신 논문

총 60편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22634v1cs.AI

PRESTO: 확산 추측 디코딩을 위한 접두 문맥 정렬 트리 드래프팅

PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding

확산 대규모 언어 모델(dLLM)은 토큰을 병렬로 생성하는 자기회귀(AR) LLM의 유망한 대안으로 부상했다. 이는 추측 디코딩(SD)의 드래프트 모델로 효과적이며, 단일 순전파로 드래프트 토큰 블록 전체를 생성할 수 있다. 그러나 기존 확산 기반 드래프팅 방법은 dLLM이 여러 위치에서 다수의 후보 토큰을 출력하여 디코딩 경로의 큰 조합 공간을 유발함에도 불구하고 선형 드래프팅에 의존한다. 결과적으로 수용 길이와 디코딩 효율이 제한된다. 이 다중 후보 구조를 활용하기 위해, 우리는 확산 드래프터에 트리 기반 드래프팅을 적용하여 다양한 후보 경로의 탐험을 가능하게 한다. 그러나 순진한 트리 드래프팅은 최적이 아님을 확인했다. 확산 marginal은 접두 문맥 맹목적(prefix-blind)이어서 접두 문맥 기반 AR 검증과 불일치하며, 신뢰할 수 없는 경로 순위를 초래한다. 우리는 PRESTO를 제안한다. 이는 확산 드래프터에 트리 기반 드래프팅을 확장하면서, 접두 문맥 정렬 점수(PREfix-aligned Scoring)와 확산 추측 디코딩을 위한 우선순위 기반 트리 탐색(priority-based Tree search for diffusion speculative decOding)을 통해 확산 드래프트 신뢰도와 접두 문맥 기반 AR 검증 간의 근본적 불일치를 해소하는 원칙적 프레임워크이다. PRESTO의 핵심 원칙은 (1) 후보 순위가 AR 검증의 접두 문맥 기반 특성과 정렬되어야 하며, (2) 트리 구성이 검증 잠재력이 높은 후보 경로를 우선하여 수용 길이를 극대화해야 한다는 것이다. 광범위한 실험에서 PRESTO는 최신 전용 확산 드래프터 SD에서 평균 최대 $1.5\times$의 엔드투엔드 처리량 가속을, 다양한 벤치마크에서 자기 추측(self-speculative) 확산 LLM에서 평균 $1.12\times$를 달성했다.

arXiv:2607.21804v1cs.CR

Speculative Decoding에서 수용 붕괴를 유발하는 적대적 프롬프트

Adversarial Prompts for Acceptance Collapse in Speculative Decoding

speculative decoding과 같은 무손실 가속 기법은 draft 모델과 target 모델 간의 동적 토큰 수준 정렬에 의존하여 상당한 추론 속도 향상을 약속한다. 그러나 이러한 의미적 동등성 보장은 심각한 운영 취약점을 가린다. draft-target 정렬은 체계적으로 공격될 수 있다. 본 논문에서는 ADSD를 제안한다. 저희가 아는 한, 이는 draft 확률 질량을 target이 수용할 가능성이 낮은 토큰 쪽으로 밀어 검증자(verifier) 수용(acceptance)을 붕괴시키는 최초의 프롬프트 접미사 공격이다. ADSD는 비대칭 speculative 수용 규칙에서 파생된 검증자 정렬 대리(surrogate)인 Soft-Collapse와, 명백한 태스크 손상을 억제하는 target 보존 목적 함수를 함께 사용한다. ADSD는 매우 효과적인 적대적 접미사를 성공적으로 생성한다. GSM8K 데이터셋에서 본 공격은 태스크 품질을 유지하면서 평균 샘플링 시간을 62.3% 증가시킨다. 또한 이러한 취약점이 서로 다른 도메인, speculative decoding 전략, 모델 아키텍처 전반에 존재함을 보인다.

arXiv:2605.27390v3cs.CL

EvoSpec: 실시간 어휘 및 매개변수 적응을 통한 투기적 디코딩(speculative decoding) 진화

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

투기적 디코딩(speculative decoding)은 초안-검증(draft-then-verify) 생성을 통해 대규모 언어 모델(LLM) 추론을 가속하지만, 경량 초안(draft) 모델은 효율성과 품질이 결합된 한계에 직면한다. 대규모 어휘 출력 투영(projection)은 비용이 크고, 제한된 초안 용량과 정적 매개변수는 전문화되거나 변화하는 입력에서 수용률(acceptance)을 낮춘다. 어휘 가지치기(pruning)는 투영 비용을 낮추지만, 정적 변형은 국소적으로 중요한 롱테일(long-tail) 토큰을 놓치고, 동적 변형은 사전 설정된 선택 정책과 예산에 민감하다. 또한 제한된 초안 용량은 대상 토큰이 포함되어 있더라도 초안 분포를 정렬(alignment)되지 않은 상태로 둘 수 있다. 온라인 정렬(alignment)은 초안 품질을 개선하지만, 전체 매개변수 업데이트는 상당한 메모리와 지연(latency) 오버헤드를 유발한다. 우리는 검증 피드백으로부터 활성 어휘와 경량 초안 매개변수를 공동으로 적응시키는 EvoSpec을 제안한다. EvoSpec은 의미적·통계적 토큰 이웃을 비동기적으로 검색하고, 정확한 대상 모델 검증을 유지하면서 커리큘럼 가중 온라인 LoRA 정렬을 수행한다. Qwen3-8B/EAGLE-2에서 EvoSpec은 기본 디코딩 대비 $2.18\times$ 속도 향상, EAGLE-2 대비 $1.20\times$ 이득을 달성하며, 전문 도메인 커버리지를 개선하고 전체 매개변수 온라인 적응보다 $27\%$ 적은 보조 GPU 적응 메모리를 사용한다.

arXiv:2607.20723v1cs.CR

Leaky Language Models: 토큰별 타이밍을 통한 아키텍처 및 추론 최적화 탈취

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

본 연구는 LeakyLMs를 제시한다. 이는 프로덕션 언어 모델로부터 독점 모델, 아키텍처, 배포 정보를 유출하는 일련의 공격이다. LeakyLMs는 원격 API를 통한 상호작용만으로도 토큰 생성 타이밍만으로 핵심 모델 및 배포 세부 정보를 추론할 수 있음을 최초로 입증한다. LeakyLMs는 두 가지 핵심 공격을 도입한다. 첫 번째 공격은 추론 최적화와 배포 전략을 겨냥한다. 예를 들어, 본 공격은 널리 배포된 추론 시점 최적화인 speculative decoding 사용 여부를 탐지하고, 파이프라인에서 사용되는 draft 모델의 컨텍스트 길이까지 식별한다. 측정 결과 Google Gemini Flash 2.5는 약 128K 토큰의 draft 컨텍스트 윈도우를 갖는 speculative decoding을 사용하는 것으로 나타났다. 두 번째 공격은 트랜스포머 레이어 수, hidden dimension 크기, 어텐션 헤드 수를 포함한 핵심 아키텍처 속성을 복원한다. 이를 위해 LeakyLMs는 최신 NVIDIA GPU에서 토큰 생성 타이밍에 대한 상세하고 정확한 모델을 구축하여, 지연 시간이 모델 구성 및 하드웨어 매개변수에 따라 어떻게 스케일링되는지 특성화한다. 공격은 이 타이밍 모델을 사용하여 아키텍처 공간을 탐색한다. Llama 모델 실험에서 거의 정확한 아키텍처 구성이 상위 10개 추측 중 90% 이상의 경우에 나타난다.

arXiv:2602.05774v5cs.LG

변분 추측 디코딩(Variational Speculative Decoding): 토큰 가능도에서 시퀀스 수용으로 드래프트 학습 재고

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

추측 디코딩(speculative decoding)은 (M)LLM의 추론을 가속하지만, 학습-디코딩 불일치가 지속된다. 기존 방법은 단일 탐욕적(greedy) 궤적을 최적화하는 반면, 디코딩은 여러 샘플링된 드래프트 경로를 검증하고 순위를 매기는 과정을 포함한다. 우리는 변분 추측 디코딩(VSD)을 제안하며, 드래프트 학습을 잠재 제안(드래프트 경로)에 대한 변분 추론(variational inference)으로 공식화한다. VSD는 타깃 모델 수용의 주변 확률을 최대화하여, 고품질 잠재 제안을 촉진하면서 타깃 분포로부터의 발산(divergence)을 최소화하는 ELBO를 도출한다. 품질을 향상하고 분산을 줄이기 위해 경로 수준(path-level) 유틸리티를 통합하고 기대-최대화(Expectation-Maximization) 절차를 통해 최적화한다. E-단계는 오라클 필터링된 사후분포(posterior)에서 몬테카를로(Monte Carlo) 샘플을 추출하고, M-단계는 적응형 거부 가중(Adaptive Rejection Weighting, ARW)과 신뢰도 인식 정규화(Confidence-Aware Regularization, CAR)를 사용하여 가중 가능도를 최대화한다. 이론적 분석은 VSD가 기대 수용 길이와 가속(speedup)을 증가시킴을 확인한다. LLM과 MLLM 전반에 걸친 광범위한 실험은 VSD가 EAGLE-3 대비 최대 9.6%, ViSpec 대비 7.9%의 가속을 달성하여 디코딩 효율을 크게 향상시킴을 보여준다.

arXiv:2607.20507v1cs.AI

MiniCache: 소형 모델 인터페이스를 활용한 재사용 가능한 프로그램 캐싱으로 효율적인 LLM 추론

MiniCache: Reusable Program Caching with Small Model Interfaces for Efficient LLM Inference

대규모 언어 모델(LLM)은 프로그램 기반 추론(program-aided reasoning), 에이전트(agentic) 의사결정, 구조화된 작업 실행에 점점 더 많이 사용되고 있지만, 이러한 응용은 종종 높은 추론 비용을 발생시킨다. 우리는 Program-of-Thought(PoT) 프로그램을 매개변수화된 캐시 객체로 변환하여 구조적으로 유사한 요청 간 재사용 가능한 계산을 가능하게 하는 재사용 가능한 프로그램 캐싱 프레임워크인 MiniCache를 제안한다. MiniCache는 캐시 히트 요청에서의 의미론적 변수 추출과 타겟 LLM 생성 중 투기적 드래프팅(speculative drafting)에 동일한 소형 모델을 재사용하여, 작업 품질을 유지하면서 비용이 많이 드는 타겟 LLM 호출을 줄인다. WebShop, Formula, CodeTAT-QA와 같은 쇼핑 스타일 요청 데이터셋에서의 실험은 MiniCache가 추론 지연시간, 캐시 재사용, 정확도 간의 트레이드오프를 개선하며, 병렬 서빙에서 최대 3.1배 낮은 지연시간과 2.8배 높은 처리량을 달성함을 보여준다. 이 결과는 소형 모델이 대규모 모델의 대체재가 아니라, 신뢰할 수 있고 효율적인 재사용 가능한 프로그램 캐싱을 가능하게 하는 경량 인터페이스 모델로서 가장 효과적임을 보여준다.

arXiv:2607.20475v1cs.AI

SonicSampler: LLM 샘플링 및 투기적 검증을 위한 통합 타일 인식 커널

SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification

LLM 추론에서 샘플링은 투기적 디코딩(speculative decoding)을 위한 로짓 처리, 토큰 선택, 검증 연산의 조합적 집합으로 구성된다. 그러나 기존 구현은 이 파이프라인의 일부만 가속하거나, 여러 커널 실행에 의존하거나, 배치 전체에 걸쳐 동질적인 샘플링 동작을 가정하여 동적 서빙 워크로드 지원을 제한하고 효율적인 CUDA Graph 실행을 방해한다. 우리는 전체 샘플링 파이프라인을 고정된 워크로드 인식 실행 모델로 수직 융합하는 통합 타일 인식 Triton 커널 모음인 $\textbf{SonicSampler}$를 제안한다. 우리 커널은 문법 제약 디코딩, 반복, 빈도 및 존재 페널티, 로짓 바이어스, 온도 스케일링, top-$k$ / top-$p$ / min-$p$ 필터링, 투기적 검증을 포함한 동적 요청별 샘플링 동작을 단일 배치 커널 내에서 지원하면서 완전히 CUDA Graph 호환을 유지한다. 우리 접근법의 핵심은 경쟁 기준선 대비 최대 $\textbf{10배}$ 속도 향상을 달성하는 새로운 계층적 2단계 top-$k$ 알고리즘이며, LLM 출력의 낮은 엔트로피 구조를 활용하여 대규모 어휘에 대한 효율적인 선택을 가능하게 한다. 이질적인 투기적 디코딩 워크로드 전반에 걸쳐 SonicSampler는 유연한 배치 실행을 유지하면서 최신 기준선 대비 최대 $\textbf{16배}$ 속도 향상을 달성한다.

arXiv:2607.13093v2cs.CR

효율적이고 프라이버시를 고려한 엣지-클라우드 협업 대규모 언어 모델 추론

Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models

온디바이스 대규모 언어 모델(LLM) 추론은 응답 지연시간, 제한된 하드웨어 자원, 사용자 프라이버시라는 삼중 딜레마에 직면한다. 전체 클라우드 추론은 강력한 컴퓨팅 능력을 제공하지만 사용자 프롬프트와 대화 데이터를 노출시키며, 독립적인 온디바이스 추론은 대부분의 소비자용 및 임베디드 엣지 디바이스에서는 실현 불가능하다. 본 논문은 엔드포인트 인증 KV 캐시를 기반으로 한 프라이버시 중심의 엣지-클라우드 협업 LLM 추론 프레임워크를 제안한다. 로컬 엔드포인트는 입력 전처리, 임베딩 계산, 적응형 특징 최적화, KV 캐시 인증, 투기적 디코딩(speculative decoding), 저차원 모델 헤드 계산을 담당하고, 클라우드는 인증된 디코더 추론, KV 캐시 관리, 토큰 검증, 고차원 어휘 투영을 수행한다. 엔드포인트는 부분 출력을 융합하고, 언어 적응형 마스킹을 적용하며, 목표 토큰을 샘플링한다. 모든 전송 데이터와 잘린 로짓(truncated logits)은 프라이버시를 위해 양자화되고 AES-GCM으로 암호화되며, 핵심 경량 모듈, 드래프트 파라미터, 캐시 접근 정책은 유출을 방지하기 위해 로컬에 유지된다. 이 프레임워크는 최적화된 스트리밍, 배칭, 양자화된 ONNX 배포를 통해 CPU 전용, GPU 탑재, 임베디드 디바이스를 포함한 이종 디바이스를 지원한다. 평가 결과, 이 프레임워크는 기준선 분할 추론 대비 토큰당 지연시간을 최대 46.1%, 하향링크 페이로드를 최대 67.4% 줄이면서 전체 클라우드 추론과 유사한 성능을 유지함을 보여준다.

arXiv:2607.14647v1cs.CL

D-Cut: 배치 투기적 디코딩을 위한 적응형 검증 깊이 가지치기

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

투기적 디코딩(speculative decoding)은 출력 품질을 저하시키지 않으면서 대규모 언어 모델(LLM) 추론을 가속한다. 최근 병렬 드래프팅 방법은 드래프트 길이를 드래프팅 지연시간과 분리함으로써 단일 요청 성능을 더욱 향상시키며, 더 긴 드래프트와 더 높은 평균 수락 토큰(MAT, mean accepted tokens)을 가능하게 한다. 그러나 높은 요청 동시성 하에서는 긴 드래프트가 거부된 토큰에 상당한 연산을 낭비하여 검증 비용을 증가시키고, 잠재적으로 투기적 디코딩을 자기회귀(autoregressive) 디코딩보다 느리게 만들 수 있다. 우리는 배치 전체에 걸쳐 드래프트 토큰을 공동으로 선택하고 검증 예산을 수락될 가능성이 가장 높은 토큰에 집중하는 적응형 가지치기 방법인 D-Cut을 제안한다. D-Cut은 두 가지 관찰에 기반한다. 첫째, 수락 길이는 동시 요청 간에 상당히 달라진다. 따라서 D-Cut은 요청 간 가지치기를 수행하여 드래프트 신뢰도에 따라 검증 예산을 적응적으로 할당한다. 둘째, 검증 비용은 GPU 아키텍처 및 병렬화 전략을 포함한 배포 환경에 크게 의존한다. D-Cut은 런타임 비용 모델을 통합하여 대상 환경에 맞게 가지치기 깊이를 적응시킨다. 밀집(dense) 모델과 전문가 혼합(MoE) 모델에 대한 실험은 높은 동시성 하에서 D-Cut이 평균 속도 향상을 \(1.26\times\)에서 \(1.65\times\)로 개선하고, 긴 드래프트 베이스라인이 자기회귀 디코딩보다 느린 밀집 모델 구성에서 가속을 회복하며, MoE 모델에서 자기회귀 디코딩 대비 최대 \(3.0\times\)의 속도 향상을 달성함을 보여준다.

arXiv:2607.12422v1cs.AI

수락된 접두사만으로는 부족하다: PEFT 기반 블록-확산 드래프팅에 대한 부정적 결과

Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting

추측 디코딩(speculative decoding)은 저비용 드래프터가 여러 미래 토큰을 제안하고 타깃 모델이 이를 검증함으로써 자기회귀 언어 모델 추론을 가속한다. 따라서 흔한 설계 목표는 보조 매개변수와 시스템 오버헤드를 줄이면서 드래프트 품질을 개선하는 것이다. 우리는 동일 백본 추측 디코딩 방법인 PEFT-BD를 통해 이 방향에 대한 부정적 결과를 연구한다. PEFT-BD에서는 LoRA 유사 어댑터가 자기회귀 검증기를 위한 블록-확산(block-diffusion) 드래프터 역할을 한다. PEFT-BD는 여러 매력적인 특성으로 동기가 부여된다: 토크나이저 불일치를 피하고, 별도의 드래프트 모델 로딩을 피하며, 학습 가능한 매개변수를 소량만 추가하고, BD3LM 스타일의 디노이징(denoising) 목표함수를 사용해 토큰 블록을 병렬로 제안한다. 이러한 장점에도 불구하고, PEFT-BD는 Qwen3-0.6B 실험에서 실질적인 속도 향상을 제공하지 않는다. 비록 이 방법이 사소하지 않은 수락 접두사를 얻기는 하지만, 프로파일링은 각 추측 단계가 어댑터 활성화된 전체 백본 드래프트 패스와 이어지는 어댑터 비활성화된 전체 백본 검증 패스를 필요로 함을 보여준다. 따라서 드래프터는 매개변수 효율적이지만 연산 효율적이지는 않다. 우리 결과는 성공적인 추측 디코딩을 위한 단순하지만 중요한 조건을 분리해낸다: 드래프터는 검증기보다 실행 비용이 실질적으로 더 저렴해야 한다. 수락 접두사가 더 길어지는 것만으로는, 드래프트 연산이 검증기 수준에 머무를 때 이를 보상할 수 없다.

arXiv:2607.11131v1cs.CL

TIGER: 멀티모달 추측적 디코딩을 위한 수락 정렬 기반 텍스트 조건부 비주얼 게이팅 라우팅

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

추측적 디코딩(speculative decoding)은 경량 초안 모델(drafter)이 여러 토큰을 제안하고 더 큰 타겟 모델이 이를 검증하는 방식으로 자기회귀 생성을 가속화한다. 텍스트 전용 대규모 언어 모델(LLM)에서는 효과적이지만, 비전-언어 모델(VLM)에서는 초안 모델이 시각적으로 중요한 내용에서 자주 이탈하기 때문에 추측적 디코딩의 이득이 제한적이며, 기존 멀티모달 가속 방법들은 무관한 시각적 증거를 직접 처리하거나 속도 향상을 결정하는 검증 모델의 수락 접두 문맥 길이를 최적화하지 않는다. 우리는 멀티모달 추측적 디코딩을 위한 텍스트 조건부 비주얼 게이팅 라우팅(Text-conditioned vIsual GatEd Routing) 프레임워크인 TIGER를 제안한다. TIGER는 전체 비주얼 토큰 집합이나 고정된 압축 인터페이스를 노출하는 대신, 초안 모델의 현재 텍스트 상태에 기반하여 컨텍스트와 관련된 희소한 비주얼 토큰 집합을 동적으로 선택한다. 학습과 추론 시 효율성을 더 잘 정렬하기 위해, KL 앵커링을 활용한 증류 워밍스타트 위에서 수락된 접두 문맥 길이 기반 검증 모델 유도 보상을 사용하는 수락 정렬 그룹 기반 정책 학습으로 초안 모델을 최적화한다. 이를 통해 초안 모델이 타겟 모델을 모방하는 것뿐만 아니라, 더 긴 접두 문맥에서 검증을 통과하는 추측적 연속 생성을 만들어내도록 유도한다. 실험 결과, TIGER는 정확한 검증 측 추측적 디코딩 환경에서 수락된 접두 문맥 길이와 추측적 속도 향상에서 일관된 이득을 제공하며, 비주얼 라우팅 분석에서 비교 가능한 다운스트림 정확도로 유리한 품질-지연 시간 트레이드오프를 달성한다.

arXiv:2607.10661v1cs.CL

점진적 트리 드래프팅 기반 추측적 디코딩을 통한 자기회귀 언어 모델의 병렬성 활용

Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

추측적 디코딩(speculative decoding)은 메모리 병목 현상을 완화함으로써 대규모 언어 모델(LLM) 추론을 크게 가속화했습니다. 그러나 전통적인 추측적 디코딩은 일반적으로 보조 드래프트 모듈에 의존하여 상당한 학습 및 통신 오버헤드를 초래합니다. 최근 방법들은 대상 모델 자체 내에서 드래프트를 생성하려 시도하지만, 구조적 조율의 부재로 인해 모델의 잠재적 병렬 용량을 충분히 활용하지 못하는 경우가 많습니다. 본 논문에서는 모델의 병렬 잠재력을 활용하기 위해 구조화된 안내 기반 병렬 드래프팅 전략을 채택하는 **점진적 트리 드래프팅(Progressive Tree Drafting, PTD)**을 제안합니다. PTD는 점진적 트리 구조와 단계별 가지치기 메커니즘을 결합함으로써, LLM이 단일 순전파에서 여러 의미적 경로를 탐색하도록 능동적으로 유도하여 드래프트의 다양성과 일관성을 모두 보장합니다. 실험 결과, PTD는 별도의 학습 없이 모델에 구애받지 않으면서도 다양한 벤치마크에서 최대 2배의 디코딩 속도 향상을 달성함을 보여줍니다. 코드는 https://github.com/MINE-USTC/PTD 에서 확인할 수 있습니다.

arXiv:2607.08642v2cs.CL

DominoTree: 추론 가속을 위한 Domino 기반 조건부 트리 구조 드래프팅

DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding

투기적 디코딩(speculative decoding)은 여러 토큰을 드래프팅한 후 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. DFlash와 같은 블록-확산(block-diffusion) 드래프터는 단일 패스로 드래프트 블록을 생성하지만 위치별 주변 분포(marginal)만 모델링하며, DDTree와 같은 최선-우선(best-first) 트리 방법은 해당 주변 분포로부터 후보 트리를 확장한다. 공개된 Domino 드래프터는 GRU 기반 인과적 보정(causal correction)을 추가하여 각 드래프트 토큰 분포를 경로 의존적으로 만드는데, 이는 DDTree의 인수분해 공식화(factorized formulation)로는 표현할 수 없는 구조다. 우리는 DominoTree를 제안한다. DominoTree는 루트-노드 경로별로 Domino의 조건부 비인수분해 보정(conditional, non-factorized correction)을 점수로 활용하는 학습 불필요(training-free) 최선-우선 드래프트 트리로, 노드별 보정을 상위 M개 후보 집합으로 제한함으로써 실용성을 확보한다. 8개 벤치마크에서 Qwen3-4B 기준, DominoTree는 자기회귀 디코딩 대비 최대 6.6배 속도 향상을 달성하며, 모든 테스트 온도에서 평가된 방법 중 가장 높은 평균 수락 길이(최대 라운드당 10.7 토큰)를 기록한다. DominoTree는 GPU 네이티브 CUDA 그래프 빌더로 트리를 구성하며, 이 빌더는 참조 Python 구현과 비트 단위로 동일하므로 수락률은 변하지 않으면서 라운드별 트리 구성 비용을 낮게 유지한다. 이 빌더를 기본값으로 채택함으로써 DominoTree는 기반 드래프터인 공개 Domino 디코더 대비 모든 테스트 온도에서 처리량을 향상시킨다: Qwen3-4B 전체 기준 9~10%, Alpaca에서는 최대 22% 향상. 또한 DominoTree는 탐욕적 디코딩뿐만 아니라 모든 테스트 온도에서 DDTree와 CaDDTree를 능가한다. Qwen3-8B에서 DominoTree는 모든 온도에서 가장 높은 수락 길이를 유지하며, T=0에서 DDTree 대비 24% 처리량 향상을 달성한다. 온도가 높아질수록 DDTree 및 CaDDTree와의 격차는 동률 내지 소폭 손실로 좁혀지지만, DFlash 및 Domino 대비 전반적인 이점은 유지된다.

arXiv:2407.21082v3cs.CL

자기지도 조기 종료를 활용한 대규모 언어 모델 추론 가속화

Accelerating Large Language Model Inference with Self-Supervised Early Exits

본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.

arXiv:2607.08690v1cs.LG

학습 불필요 완화된 추측적 디코딩에 대한 실용적 탐구

A Practical Investigation of Training-free Relaxed Speculative Decoding

추측적 디코딩(speculative decoding)의 엄격한 분포 보존 요건을 완화하는 학습 불필요(training-free) 기법들을 통합 프레임워크로 정리하고 AIME 2024, GPQA Diamond, LiveCodeBench 등 현대적 벤치마크에서 실험적으로 평가했다. 주요 발견으로, 완화된 방식은 무손실 추측적 디코딩과 달리 성능 평가 비용이 크게 증가하며, 드래프터(drafter)가 충분히 강력한 언어 모델이어야 효과적이므로 경량 다중 토큰 예측(multi-token-prediction) 드래프터에는 적합하지 않음을 보였다.

arXiv:2607.05722v1cs.CL

Nemotron-Labs-Diffusion: 자기회귀, 디퓨전, 셀프-스페큘레이션 디코딩을 통합한 삼중 모드 언어 모델

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion은 자기회귀(AR), 디퓨전, 셀프-스페큘레이션 디코딩을 단일 아키텍처에서 통합한 삼중 모드 언어 모델로, 결합 AR-디퓨전 목적함수로 학습하여 두 패러다임의 장점을 상호 보완적으로 활용한다. 3B·8B·14B 규모로 스케일링된 모델 패밀리는 최신 오픈소스 AR 및 디퓨전 언어 모델 대비 정확도와 속도 모두에서 앞서며, 특히 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 순전파당 6배 더 많은 토큰을 디코딩해 SPEED-Bench에서 4배 높은 처리량을 달성한다.

arXiv:2607.04244v2cs.LG

타겟을 양자화하고, 드래프터를 양자화하라: Qwen3.5-4B를 활용한 효율적 추론

Quantize the Target, Quantize the Drafter: Efficient Inference with Qwen3.5-4B

자원 제한 환경(NVIDIA A10G GPU)에서 Qwen3.5-4B의 저지연 추론을 달성하기 위해, 양자화 인식 증류(QAD)로 정확도를 회복한 INT4 타겟 모델과 2단계 학습된 block-diffusion 드래프터를 결합한 투기적 디코딩(speculative decoding) 시스템을 제안한다. 드래프터에 추가로 PTQ 및 슬라이딩 윈도우 어텐션(SWA)을 적용해 오버헤드를 줄인 결과, 기준선 대비 평균 6.978배 속도 향상을 달성하며 Efficient Qwen Competition에서 3위를 기록했다.

arXiv:2606.08048v1cs.CL

전문가 곱 브리지를 통한 확산 언어 모델 병렬 디코딩

Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge

확산 언어 모델(DLM)과 자기회귀(AR) 모델 간의 분포 격차를 좁히기 위해, DLM 제안 분포와 AR 목표 분포의 전문가 곱(Product-of-Experts)으로 구성된 중간 브리지 분포를 활용하는 새로운 디코딩 프레임워크 PoE-Bridge를 제안한다. PoE-Bridge는 거부 샘플링과 중요도 샘플링을 두 단계로 분리 적용하여 표준 DLM 디코딩 대비 5배 속도 향상과 함께 AR 모델 성능의 95% 이상을 회복하며, 수학적 추론 및 코딩 벤치마크에서 품질-효율 격차를 효과적으로 해소한다.

arXiv:2607.03876v1cs.LG

AdaptiveSD: CPU 제약 LLM 추론을 위한 안정성 인식 런타임 적응형 투기적 디코딩 프레임워크와 다중 정책 오케스트레이션

AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference

소형 양자화 GGUF 기반 언어 모델의 부상과 온디바이스 추론 작업에서의 활용 증가로, 순수 CPU 구현이 부과하는 심각한 메모리 대역폭 제약 하에서도 이러한 모델을 대규모로 안정적으로 제공할 수 있는 접근법의 필요성이 커지고 있다. 고정 깊이 투기적 디코딩(speculative decoding)은 유망한 기법으로 부상했지만, 실제 환경에서는 대역폭 포화, 불안정성, 또는 시스템 장애를 초래하는 치명적인 자원 고갈로 인해 성능 저하가 자주 발생한다. 이 문제를 극복하기 위해, 우리는 다양한 모델 유형과 워크로드에 걸쳐 견고하고 신뢰할 수 있는 실행을 보장하는 완전한 런타임 적응형 투기적 디코딩 프레임워크인 AdaptiveSD를 소개한다. 우리의 솔루션은 지속적인 피드백 루프 내에서 함께 작동하는 네 가지 긴밀히 결합된 구성 요소로 이루어진다: 진행 중인 연산과 관련된 다수의 신호를 추적하는 런타임 모니터링 엔진, 원시 초안 수보다 시스템 자원 보존을 우선시하는 11개 규칙 정책 계층을 적용하는 적응형 초안 컨트롤러, 워크로드 동작에 따라 정책을 동적으로 수정하기 위해 휴리스틱 및 강화학습 기법을 활용하는 동적 정책 엔진, 그리고 INT8 섀도 버퍼와 위치 인식 제거를 통해 세밀한 제어로 캐시 상태를 관리하는 KV 캐시 조율 층. 기존 접근법이 처리량 극대화에만 집중하는 것과 달리, 우리는 투기적 효율성의 표준 지표와 함께 낭비된 초안 연산 및 토큰 간 지연 분산을 포함한 여러 핵심 지표를 기반으로 우리 접근법의 효과를 평가한다.

arXiv:2607.05147v1cs.AI

DSpark: 반자기회귀 생성을 활용한 신뢰도 기반 스케줄링 추측적 디코딩

DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

추측적 디코딩(Speculative decoding)은 초안 생성과 목표 검증을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 초안 생성기는 단일 순전파(forward pass)로 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부재로 인해 수락률이 급격히 감소하는 문제를 겪는다. 또한, 이러한 확장된 블록을 무차별적으로 검증하면 거부 위험이 높은 토큰에 중요한 배치 용량이 낭비되어 고동시성 서빙 시스템의 처리량이 심각하게 저하된다. 우리는 고처리량 병렬 생성과 적응적·부하 인식 검증을 통합하는 추측적 디코딩 프레임워크인 DSpark를 소개한다. 초안 품질을 유지하기 위해 DSpark는 반자기회귀(semi-autoregressive) 아키텍처를 활용하여 병렬 백본과 경량 순차 모듈을 결합함으로써 블록 내 의존성 모델링을 도입하고 후위 감소(suffix decay)를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증(confidence-scheduled verification)을 채용하여, 추정된 접두 문맥 생존 확률과 엔진별 처리량 프로파일에 기반해 각 요청의 검증 길이를 동적으로 조정한다. 다양한 도메인에 걸친 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 초안 생성기 대비 수락 길이를 대폭 향상시킨다. 실시간 사용자 트래픽 하에 DeepSeek-V4 서빙 시스템에 배포했을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 확립된 생산 기준선(MTP-1)과 비교하여, DSpark는 동일 처리량 수준에서 사용자별 생성 속도를 60~85% 가속화한다. 더 중요하게는, 엄격한 상호작용 제약 조건 하에서 심각한 처리량 저하를 방지함으로써 이전에는 달성 불가능했던 성능 수준을 가능하게 하여, 서빙 시스템의 파레토 프런티어를 이동시킨다.