PyTorchKR Papers

최신 논문

총 60편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30217v2cs.CL

생각하기 전에 결정하는 법을 배워라: 효율적인 시각적 추론을 위한 선제적 라우팅

Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning

멀티모달 추론에서 소형 드래프트 모델과 대형 타겟 모델 간의 쿼리 라우팅 효율을 높이기 위해, 기존의 사후 토큰 확률 기반 방식의 한계를 극복하는 선제적 라우팅 패러다임(PRP)을 제안한다. 강화학습 기반의 Draft Rating Learning(DRL)과 Joint Rating Learning(JRL)을 통해 추론 시작 전에 드래프트 및 타겟 모델 양측의 역량을 평가함으로써, MathVista에서 2.41배 가속화를 달성하면서도 타겟 모델 대비 성능을 소폭 상회한다.

arXiv:2607.01831v1cs.DC

Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference

Long-context inference is increasingly common in large language model (LLM) serving, driven by retrieval-augmented generation and agentic systems. In disaggregated inference, these workloads require transferring large Key-Value (KV) caches across the network, where decoding cannot begin until the transfer completes. Recent KV quantization techniques reduce data volume and alleviate this bottleneck, but existing schemes fail to achieve both low network-exposed latency and high inference accuracy. We challenge the assumption that the KV cache is an indivisible unit that must be fully received before use. We leverage the observation that different bits in the KV cache contribute unequally to attention computation and inference precision: the most significant bits capture the coarse structure of attention and the least significant bits refine precision. This property enables partial use of the KV cache during decoding. We present Lynx, a system that enables progressive, split-stream KV transfer by partitioning the KV cache into a high-priority Anchor stream carrying the most significant bits and a low-priority Residual stream carrying remaining precision. Decoding begins upon receipt of the Anchor stream and proceeds speculatively while the Residual stream is transferred concurrently, followed by verification that ensures equivalence to higher-precision decoding. Across multiple models and serving workloads, Lynx achieves Time-to-First-Token (TTFT) comparable to aggressive 4-bit KV quantization, while matching the accuracy of high-precision (BF16) inference, improving TTFT over standard 8-bit KV quantization by up to $1.43\times$ and improving accuracy over state-of-the-art by up to $5.1\%$.

arXiv:2411.11925v3cs.CV공식 코드 · Papers with Code

Continuous Speculative Decoding for Autoregressive Image Generation

연속적 시각 자기회귀(AR) 모델의 순차적 추론 속도 문제를 해결하기 위해, 이 연구는 기존 이산 분포에만 적용 가능했던 투기적 디코딩(speculative decoding)을 연속 분포로 확장한 Continuous Speculative Decoding 프레임워크를 제안한다. 목표 모델과 드래프트 모델 간 출력 분포 불일치로 인한 낮은 수용률 문제를 디노이징 궤적 정렬(denoising trajectory alignment)과 토큰 사전 채움(token pre-filling)으로 해결하고, 해석적 표현이 없는 수정 분포에서의 샘플링은 수용-기각 샘플링으로 처리하여, 256×256 및 512×512 해상도 실험에서 생성 품질 유지와 함께 2배 이상의 추론 속도 향상을 달성했다.

arXiv:2606.31315v1cs.CL

BlockPilot: 디퓨전 기반 추측적 디코딩을 위한 인스턴스 적응형 정책 학습

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding

디퓨전 기반 추측적 디코딩(speculative decoding)에서 기존의 고정 블록 크기 전략이 샘플마다 최적 블록 크기가 다르기 때문에 차선임을 분석하고, 최적 블록 크기가 학습 시 블록 크기 근방의 좁은 구간에 집중되는 지역적 구조를 활용해 경량 정책 학습기인 BlockPilot을 제안한다. BlockPilot은 프리필링(prefilling) 단계의 표현으로부터 블록 크기를 한 번만 예측하는 인스턴스 적응형 방식으로, Qwen3-4B에서 허용 길이 5.92, 4.20× 속도 향상을 달성했다.

arXiv:2606.30265v1cs.LG

초안은 언제 수용되는가? 추측 디코딩의 수용 이론

When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding

투기적 디코딩(speculative decoding)에서 탐욕적 디코딩, 완화된 수용 기준, 트리 기반 후보 집합 등 실용적 설정에 대한 수용 이론을 개발하여, 기각 영역이 목표 분포의 하위 수준 집합으로 특성화되는 수용 기준에 대해 KL 발산 기반의 정확한 인증서와 마진 경계를 도출한다. Qwen3 모델을 대상으로 한 실험에서 완화된 기준과 트리 기반 기준이 인증된 수용 영역을 크게 확장함을 보이며, 특히 목표 모델 분포 마진이 낮은 디코딩 단계에서 효과가 두드러짐을 확인한다.

arXiv:2606.29565v1cs.LG

투기적 사전 포지셔닝: 크리티컬 패스 외부에서 상태 유지 세션을 다음 결정 지점까지 디코딩

Speculative Pre-Positioning: Decoding Stateful Sessions to the Next Decision Point Off the Critical Path

무상태 추론 서버의 요청 사이 유휴 시간을 활용해 드래프트 모델 없이 대상 모델의 순전파로 세션을 다음 결정 지점까지 미리 디코딩하는 투기적 사전 포지셔닝(Speculative Pre-Positioning)을 제안하며, 신뢰도 게이트가 발화할 경우 디코딩 없이 캐시된 분포에서 단일 토큰을 반환해 첫 토큰 지연을 39ms에서 약 1.0ms로 약 40배 단축한다.

arXiv:2606.29223v1cs.LG

LLM 디코딩을 위한 깊이 탐험

Depth Exploration for LLM Decoding

자기회귀 LLM 디코딩에서 많은 토큰이 중간 레이어에서 이미 예측 가능함에도 전체 레이어를 통과해야 하는 비효율을 해소하기 위해, 단일 종료 깊이 선택 대신 여러 후보 깊이를 병렬 탐험하는 무손실 디코딩 알고리즘 DEX(Depth Exploration Decoding)를 제안한다. DEX는 확장-커밋-축소(expand–commit–collapse) 절차로 표준 자기회귀 디코딩과의 동등성을 유지하면서 기존 깊이 선택 기반 방법보다 높은 처리량을 달성하며, 탐험 깊이가 세밀해질수록 성능이 단조 향상됨을 이론·실험으로 입증한다.

arXiv:2606.27550v1cs.CL

EntMTP: 엔트로피 유도 다중 토큰 예측을 통한 LLM 추론 가속

EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

기존 다중 토큰 예측(MTP) 기반 추론 가속 방식이 정적 트리 토폴로지를 사용해 문맥의 엔트로피 변화를 반영하지 못하는 문제를 해결하기 위해, EntMTP는 로컬 생성 엔트로피 추정치에 따라 작업별 파레토 최적 트리 집합 중 적절한 어텐션 토폴로지를 동적으로 선택하는 학습 불필요 스케줄러를 제안한다. Humaneval, ShareGPT, GSM8k, Litbench 벤치마크에서 Hydra 대비 최대 1.15배, Medusa 대비 최대 1.36배의 추론 속도 향상을 생성 품질 저하 없이 달성했다.

arXiv:2606.27829v1cs.CV

CSD: 효율적인 이미지 생성을 위한 콘텐츠 인식 투기적 디코딩

CSD: Content-aware Speculative Decoding for Efficient Image Generation

투기적 디코딩(speculative decoding, SD)은 자기회귀(autoregressive) 모델의 추론을 가속하기 위한 핵심 해결책으로 부상했다. 그러나 이미지 생성 분야에서는 낮은 수용률(acceptance rate)이라는 과제에 직면하며, 기준을 직접 완화하면 이미지 품질이 저하된다. 본 논문에서는 엔트로피 기반 확률 완화 메커니즘과 최적 재샘플링(resampling) 전략을 통합하여 자기회귀 이미지 생성의 추론 효율을 향상시키는, CSD라고 명명한 새로운 콘텐츠 인식 투기적 디코딩 알고리즘을 제안한다. CSD는 이미지의 서로 다른 영역에 내재된 정보적 불확실성을 활용하여 후보 토큰(token)의 수용 확률을 동적으로 조정하고, 세부 정보가 적은 영역에서 수용률을 높여 생성을 가속한다. 또한 출력 분포가 타깃 모델과 정렬(alignment)되도록 하는 분포 정렬 필터를 도입하여 생성 품질을 크게 개선한다. Lumina-mGPT와 Janus-Pro에서 수행한 실험은 제안한 CSD의 우수성을 입증한다. 소스 코드는 https://github.com/aderfebr/CSD 에서 확인할 수 있다.

arXiv:2606.26744v1cs.LG

HyperDFlash: 게이트 잔차 축소를 통한 MHC 정렬 블록 투기적 디코딩

HyperDFlash: MHC-Aligned Block Speculative Decoding with Gated Residual Reduction

DeepSeek-V4의 다중 하이퍼 연결(MHC) 아키텍처에 맞춘 블록 병렬 투기적 디코딩(speculative decoding) 프레임워크 HyperDFlash는 사전 접합(pre-collapse) 잔차 조건화, 하이퍼 연결 헤드에서 상속한 경량 게이트 잔차 축소기, LM 헤드 KL 증류로 MHC와 DFlash 간 특징 불일치를 해소한다. 수학·코드·대화 벤치마크에서 네이티브 MTP와 순수 DFlash보다 평균 수용 draft 길이와 디코딩 속도를 크게 높였다.

arXiv:2606.25097v1cs.LG

Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

temperature zero에서 추측 디코딩(speculative decoding)이 안전성 평가 출력에 드래프트 모델측 행동을 누출하는지 TAIS(Typical-Acceptance Invariance Screen) 동등성 스크린으로 검증했다. 16,783건 확인 코어와 44,066건 매칭 확장 표본, DPO 적대적 드래프트·GPTQ 4bit 드래프트·네 가지 안전성 벤치마크를 포함한 vLLM 스택에서 대상 모델 단독 추론과 검출 가능한 안전성 차이는 나타나지 않았다.

arXiv:2606.22840v1cs.LG

RLM-Cascade: 비용 효율적 LLM API 서빙을 위한 응답 수준 투기적 디코딩

RLM-Cascade: Response-Level Speculative Decoding for Cost-Efficient LLM API Serving

우리는 RLM-Cascade를 제안한다. 이는 모델 아키텍처 접근이나 공유 어휘(shared vocabulary) 없이 LLM API 비용을 줄이기 위해 응답 수준에서 투기적 디코딩(speculative decoding)을 적용하는 프록시 층 시스템이다. 빠르고 저렴한 드래프트(draft) 모델이 후보 응답을 생성하고, 성능이 높은 검증(verify) 모델은 경량 복잡도 라우터에 따라 이를 수락하거나 향상시키거나 아예 우회된다. 실제 에이전트(agentic) 코딩 워크로드(Claude Code)에서 RLM-Cascade는 125건의 프로덕션 요청에 걸쳐 88.8%의 드래프트 사용률을 달성하며, 직접 Opus 기준선 대비 API 비용을 45.8% 절감한다. 직관에 반하게 프록시는 종단 간(end-to-end) 지연시간도 줄인다. 중앙값 응답 시간은 Native Opus의 3,698 ms 대비 2,026 ms이며, p50에서 1.83배 가속이다. 이는 SKIPPED 경로(DeepSeek만 사용, Opus 호출 없음)가 워크로드 분포를 지배하기 때문이다. 품질은 Opus 기준선과 동등하거나 그 이상이다. 20개 태스크 Code/Math/Instruct 벤치마크에서 통과율 100%로, Native Opus의 95%를 상회한다. 또한 단순한 에이전트 턴에 SKIPPED 경로를 선택하는 규칙 기반 복잡도 라우터와, 스키마가 중요한 도구 선택 턴에서 투기적 파이프라인을 우회하는 하이브리드 도구 호출(tool-call) 전략을 설명한다. RLM-Cascade는 기업 AI 인프라 구성 요소로 프로덕션에 배포되었으며, 실시간 메트릭 대시보드와 Prometheus 엔드포인트와 함께 오픈 소스로 공개되었다.

arXiv:2606.20591v1cs.NI

저지연 엣지-클라우드 LLM 추론을 위한 지연 적응형 투기 제어

Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference

투기 디코딩(speculative decoding)은 경량 드래프트 모델이 토큰을 제안하고 더 큰 타깃 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 분산형 엣지-클라우드 추론에서는 드래프트 길이를 온라인으로 제어해야 한다. 더 긴 드래프트는 통신 지연을 상각하지만 토큰 수용률을 낮추는 반면, 더 짧은 드래프트는 수용률을 유지하지만 통신 라운드를 더 많이 유발한다. 우리는 이 절충을 비율형 최적 정지 문제로 정식화하고, 최적 드래프트 길이가 유한한 지연 단조 임계값임을 증명한다. 분석은 단일 토큰 투기가 최적인 임계 지연 이하 구간을 밝히고, 최적 길이가 통신 지연에 대해 로그적으로만 증가함을 보인다. 시간 변동 네트워크에 대해 모델을 마르코프 변조 채널로 확장하고, 유한 수평선과 단조 정지 영역 조건 하에서 상태 의존 임계값 정책을 확립한다. 알려지지 않은 환경에서는 UCB-SpecStop이라는 온라인 제어 알고리즘을 제안하며, 이는 gap-free 및 gap-dependent 기대 후회(regret) 상계가 각각 $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ 및 $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$이다. Jetson Orin Nano Super 엣지 노드와 RTX~3090 Ti 클라우드 노드를 사용하는 실제 엣지-클라우드 테스트베드에서 Qwen과 Llama 드래프트-타깃 쌍으로 방법을 구현한다. 실험은 예측된 상전이를 검증하며, 전이점은 약 83~ms 및 111~ms 부근이다. Qwen은 기하학적 예측과 일치하지만, Llama는 heavy-head acceptance 때문에 경험적 접두 문맥 보정이 필요하다. 테스트된 지연 격자 전반에서 UCB-SpecStop은 SpecDec++ 대비 토큰당 지연을 최대 22.4%까지 줄이고, 통신 지배 영역에서 오프라인 오라클에 0.2--2.4% 이내로 근접하며, 순진한 UCB 대비 최대 7.5% 개선하고, 지연 드리프트 하 정적 튜닝이 야기한 14.0--18.7% 격차를 제거하며, 문맥적 채널 상태 정보로 3.0--6.8%의 이득을 얻는다.

arXiv:2603.25702v2cs.CL

S2D2: 학습 없는 자기 추측을 통한 확산 LLM의 빠른 디코딩

S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation

블록 확산 언어 모델은 블록 단위 자기회귀(autoregressive) 디코딩과 블록 내 병렬 노이즈 제거를 결합하여 자기회귀보다 빠른 생성을 위한 유망한 경로를 제공합니다. 그러나 실제 가속에 필요한 적은 단계에서 표준 신뢰도 임계값 기반 디코딩은 종종 불안정합니다. 공격적인 임계값은 품질을 저하시키고, 보수적인 임계값은 불필요한 노이즈 제거 단계를 요구합니다. 이 문제를 해결하는 기존 접근 방식은 추가 학습이 필요하거나 추가 테스트 시간 연산을 초래합니다. 우리는 블록 확산 언어 모델을 위한 학습 없는 자기 추측 디코딩 프레임워크인 S2D2를 제안합니다. 우리의 핵심 관찰은 블록 크기를 1로 줄이면 블록 확산 모델이 자기회귀가 된다는 점으로, 이를 통해 동일한 사전학습 모델이 드래프터(drafter)와 검증자(verifier) 역할을 모두 수행할 수 있습니다. S2D2는 표준 블록 확산 디코딩에 추측 검증 단계를 삽입하고, 검증이 그 비용을 감수할 만한 가치가 있는지 결정하기 위해 가벼운 라우팅 정책을 사용합니다. 이는 확산이 토큰을 병렬로 제안하고 자기회귀 모드가 로컬 시퀀스 수준 비평자(critic)로 작용하는 하이브리드 디코딩 궤적을 생성합니다. 3개의 주요 블록 확산 계열에 걸쳐, S2D2는 강력한 신뢰도 임계값 기준선(baseline)보다 정확도-속도 트레이드오프를 일관되게 개선합니다. SDAR에서 우리는 자기회귀 디코딩보다 최대 $4.7\times$ 속도 향상을, 정확도를 최대 $4.5$ 포인트 개선하면서 튜닝된 동적 디코딩 기준선보다 최대 $1.57\times$ 속도 향상을 관찰했습니다. LLaDA2.1-Mini에서 S2D2는 내장된 자기 수정(self-correction)과 상호 보완적이며, 정확도가 약간 더 높으면서 정적 기준선보다 $4.4\times$ 더 빠른 보수적인 설정을 포함합니다.

arXiv:2606.19755v1cs.CR

SafeSpec: 동적 성찰적 샘플링을 통한 빠르고 안전한 대규모 언어 모델(LLM)

SafeSpec: Fast and Safe LLM via Dynamic Reflective Sampling

추측 추론(Speculative inference)은 대규모 언어 모델(LLM)의 디코딩을 가속화하지만 본질적인 안전성 보장을 제공하지 않습니다. 기존의 안전 방어 기제는 추측 추론과 대체로 호환되지 않는데, 추가적인 연산을 도입하거나 초안-검증(draft-verify) 메커니즘을 교란하여 가속 이점을 상쇄시키기 때문입니다. 이는 현재 안전 방법과 추측 디코딩 사이의 근본적인 비호환성을 보여줍니다. 우리는 위험 추정을 검증 과정에 직접 통합하는 안전 지향 추측 추론 프레임워크인 SafeSpec을 제안합니다. SafeSpec은 타겟 모델에 경량 잠재 안전 헤드를 부착하여 단일 순전파(forward pass) 내에서 의미적 타당성과 안전성을 공동으로 평가합니다. 안전하지 않은 생성이 감지되면 SafeSpec은 생성을 종료하는 대신 롤백(rollback)과 안전 유도 성찰적 다중 샘플링을 적용하여 안전한 연속 생성을 복구합니다. 우리는 탈옥(jailbreak) 공격을 생성 궤적(generative trajectories)에 대한 분포 변화(distributional shifts)로 모델링하며, 여기서 적대적 프롬프트는 안전한 연속 생성을 제거하지 않으면서 유해한 연속 생성의 확률을 증가시킵니다. 이 모델 하에서 SafeSpec은 추측 디코딩 과정 내에서 위험 인식 궤적 복구를 수행합니다. 다양한 모델과 적대적 벤치마크에서 SafeSpec은 현저히 개선된 안전성-효율성 트레이드오프를 달성했습니다. Qwen3-32B에서 SafeSpec은 정상 워크로드(benign workloads)에서 2.06배의 추론(inference) 속도 향상을 유지하면서 공격 성공률을 15% 감소시켰으며, 이는 추측 가속과 추론 시점 안전성이 공동으로 최적화될 수 있음을 입증합니다.

arXiv:2606.18502v1cs.CL

기업용 애플리케이션을 위한 멀티 에이전트 시스템의 확장 가능한 커스터마이제이션 및 배포

Towards Scalable Customization and Deployment of Multi-Agent Systems for Enterprise Applications

기업 환경에서 멀티 에이전트 시스템의 도메인 특화와 높은 추론 비용·지연 문제를 해결하기 위해, 지속적 사전학습·지도 미세조정·선호도 최적화로 소형 모델을 맞춤화하고 EAGLE 사전적 디코딩과 FP8 양자화로 서빙을 최적화하는 통합 프레임워크를 제안합니다. 기업 워크로드에서 빠른 도메인 적응을 가능하게 하며 성능을 유지한 채 처리량을 4.48배 높이고 롱테일 시나리오 강건성도 개선했습니다.

arXiv:2509.18085v4cs.LG

미래 구조화하기: 보정된 드래프트 그래프를 통한 디퓨전 LLM 추측 디코딩

Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs

Diffusion LLM의 추론을 가속화하는 Spiffy 알고리즘은 자동 추측(auto-speculation)과 보정된 방향성 드래프트 그래프를 활용하여 모델의 출력 분포를 보존한다. 이 방법은 LLaDA, Dream, SDAR 모델에서 모델 추론 횟수를 최대 8.6배 줄이고 토큰 생성 속도를 6.3배 향상시켰다.

arXiv:2606.13426v1cs.LG

블록 검증을 통한 추측 확산 가속화

Accelerating Speculative Diffusions via Block Verification

추측 디코딩(Speculative Decoding)은 드래프트 모델을 사용하여 토큰을 생성하고, 출력이 타겟 분포와 일치하도록 보장하는 수락-거부 방식을 통해 대규모 언어 모델(LLM)의 추론(inference) 속도를 높입니다. 이를 연속 확산(continuous diffusions)에 적용하는 것은 어렵습니다. 그 이유는 추측 샘플링(speculative sampling)이 잔차 분포(residual distribution)에서 샘플을 추출해야 하기 때문입니다. 이산 공간에서는 간단하지만, 연속 공간에서 이 잔차를 효율적으로 샘플링하는 것은 사소하지 않습니다. 결과적으로 기존의 확산 모델 적용 방식들은 계산적으로 비효율적인 샘플링 기술을 사용하거나 대체 방식에 의존합니다. 본 연구에서는 확산 모델을 위해 원래의 추측 샘플링 메커니즘을 효율적으로 구현하는 새로운 방식을 소개합니다. 우리의 접근 방식은 현재 방법들보다 중요한 이점을 제공합니다. 바로 LLM의 블록 검증(block verification)을 확산 모델로 적용할 수 있게 하여, 드래프트의 수락률을 증명 가능하게 개선합니다. 또한, 학습이 필요 없는 확산 모델을 위한 휴리스틱 자기 추측 드래프터(heuristic self-speculative drafter)인 Free Drafter를 정형화하고 분석합니다. 블록 검증을 활성화함으로써, 우리의 Free Drafter는 추가 학습 없이 기존 병렬 검증 단계 외에 무시할 수 있는 오버헤드만으로 기존 추측 방식 대비 최대 6.3%의 속도 향상을 달성합니다.

arXiv:2606.12370v1cs.LG

엔트로피 한계 극복: 거부 샘플링을 통한 MTP 기반 강화학습 가속화

Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

강화학습(RL)은 현대 대규모 언어 모델의 핵심 구성 요소가 되었지만, 롤아웃 단계는 여전히 RL 학습 파이프라인의 주요 병목 현상입니다. 다중 토큰 예측(MTP)은 추측적 디코딩을 통해 롤아웃을 가속화할 수 있는 자연스러운 해결책을 제공하지만, 많은 연구에서 RL 학습 중 MTP 수락률이 현저히 저하되어 가속 효과가 제한적임을 관찰했습니다. 이러한 병목 현상을 해결하기 위해, 우리는 LLM 사후 학습에서의 MTP에 대한 체계적인 연구인 Bebop을 제시하고, 대규모 RL 파이프라인에 MTP를 통합하기 위한 실용적인 방법론을 제공합니다. 첫째, 우리는 MTP 수락률이 근본적으로 모델 엔트로피의 변동에 의해 제한됨을 밝혔으며, 이는 RL 단계에서 엔트로피가 증가함에 따라 명확한 음의 선형 관계를 보여줍니다. 둘째, 우리는 확률적 거부 샘플링이 탐욕적 드래프트 샘플링에 비해 RL에서 엔트로피가 유발하는 교란을 크게 완화함을 보여줍니다. 우리는 또한 기존의 MTP 학습 목적 함수(교차 엔트로피 또는 KL)가 이러한 설정에서 최적이 아님을 확인했으며, 따라서 다단계 거부 샘플링 수락률을 직접 최적화하는 새로운 종단 간 TV 손실을 제안합니다. 이는 약 10%의 수락률 향상을 이끌어내며, 수학적 추론, 코드 생성, 에이전트 작업 전반에서 최대 95%의 수락률과 최대 25%의 추가 추론 처리량 이득을 달성했습니다. 셋째, 우리는 RL 중 다양한 온라인 MTP 학습 전략을 테스트했으며, e2e TV 손실과 거부 샘플링을 사용한 RL 이전 MTP 학습이 전체 RL에 걸쳐 일관된 수락률과 가속을 달성하여 비용이 많이 드는 온라인 MTP 업데이트의 필요성을 제거함을 보여줍니다. 우리는 우리의 발견을 검증하는 광범위한 실험과 분석을 제공합니다. 실험 결과는 우리의 방법이 Qwen3.5, Qwen3.6, Qwen3.7 모델의 비동기 RL 학습에서 최대 1.8배의 종단 간 가속을 달성함을 보여줍니다.

arXiv:2606.12243v1cs.CL

VIA-SD: 사전적 디코딩을 위한 모델 내 라우팅을 통한 검증

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding

사전적 디코딩(SD)은 경량 드래프터(drafter)가 후보를 생성하고 대형 검증기(verifier)가 이를 병렬로 검증하도록 하여 대규모 언어 모델(LLM)의 높은 추론 비용 문제를 해결합니다. 기존 드래프트-검증 방식은 수락하거나 완전히 재계산하는 이진 결정을 사용합니다. 그러나 우리는 거절된 많은 토큰이 전체 검증기 대신 모델 내 라우팅(intra-model routing)을 통해 전체 검증기에서 파생된 슬림 서브모델(slim submodel)에 의해 올바르게 검증될 수 있음을 발견했습니다. 이는 슬림 검증기(slim-verifier)가 중간 수준의 검증 자원을 요구하는 토큰을 처리하게 하여, 비용이 많이 드는 대형 모델 호출을 줄이는 동기가 되었습니다. 우리는 라우팅된 슬림 검증기를 사용하는 다계층 프레임워크인 사전적 디코딩을 위한 모델 내 라우팅 기반 검증(VIA-SD)을 제안합니다. 드래프트 토큰은 계층적으로 처리됩니다: 높은 신뢰도의 경우 직접 수락, 중간 신뢰도의 경우 슬림 검증기 재생성, 불확실한 경우 전체 모델 검증을 수행합니다. 4개의 대표적인 작업과 여러 모델 계열에 걸쳐, VIA-SD는 거절률을 0.10-0.22만큼 낮추고 강력한 SD 베이스라인 대비 10-20%의 속도 향상을 제공하며, 드래프팅을 사용하지 않는 디코딩 대비 2.5-3배의 가속을 달성했습니다. 더욱이, VIA-SD는 학습 절차를 수정하지 않고도 기존 SD 프레임워크와 호환됩니다. 우리의 결과는 다계층 SD가 확장 가능하고 효율적인 LLM 추론을 위한 일반적인 패러다임이 될 수 있음을 시사합니다. 프로젝트 페이지: https://zju-xyc.github.io/VIA-SD-Project-Page/