arXiv:2606.20591v1 cs.NI

저지연 엣지-클라우드 LLM 추론을 위한 지연 적응형 투기 제어

Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference

Kangkang Sun, Jianhua Li, Xiuzhen Chen, Junyi He, Minyi Guo

제출 2026-05-17

한국어 초록

투기 디코딩(speculative decoding)은 경량 드래프트 모델이 토큰을 제안하고 더 큰 타깃 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 분산형 엣지-클라우드 추론에서는 드래프트 길이를 온라인으로 제어해야 한다. 더 긴 드래프트는 통신 지연을 상각하지만 토큰 수용률을 낮추는 반면, 더 짧은 드래프트는 수용률을 유지하지만 통신 라운드를 더 많이 유발한다. 우리는 이 절충을 비율형 최적 정지 문제로 정식화하고, 최적 드래프트 길이가 유한한 지연 단조 임계값임을 증명한다. 분석은 단일 토큰 투기가 최적인 임계 지연 이하 구간을 밝히고, 최적 길이가 통신 지연에 대해 로그적으로만 증가함을 보인다. 시간 변동 네트워크에 대해 모델을 마르코프 변조 채널로 확장하고, 유한 수평선과 단조 정지 영역 조건 하에서 상태 의존 임계값 정책을 확립한다. 알려지지 않은 환경에서는 UCB-SpecStop이라는 온라인 제어 알고리즘을 제안하며, 이는 gap-free 및 gap-dependent 기대 후회(regret) 상계가 각각 $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ 및 $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$이다. Jetson Orin Nano Super 엣지 노드와 RTX~3090 Ti 클라우드 노드를 사용하는 실제 엣지-클라우드 테스트베드에서 Qwen과 Llama 드래프트-타깃 쌍으로 방법을 구현한다. 실험은 예측된 상전이를 검증하며, 전이점은 약 83~ms 및 111~ms 부근이다. Qwen은 기하학적 예측과 일치하지만, Llama는 heavy-head acceptance 때문에 경험적 접두 문맥 보정이 필요하다. 테스트된 지연 격자 전반에서 UCB-SpecStop은 SpecDec++ 대비 토큰당 지연을 최대 22.4%까지 줄이고, 통신 지배 영역에서 오프라인 오라클에 0.2--2.4% 이내로 근접하며, 순진한 UCB 대비 최대 7.5% 개선하고, 지연 드리프트 하 정적 튜닝이 야기한 14.0--18.7% 격차를 제거하며, 문맥적 채널 상태 정보로 3.0--6.8%의 이득을 얻는다.

원문 초록

Speculative decoding accelerates large language model (LLM) inference by using a lightweight draft model to propose tokens and a larger target model to verify them in parallel. In distributed edge-cloud inference, however, draft length must be controlled online: longer drafts amortize communication delay but reduce token acceptance, whereas shorter drafts preserve acceptance but trigger more communication rounds. We formulate this tradeoff as a ratio-type optimal stopping problem and prove that the optimal draft length is a finite delay-monotone threshold. The analysis identifies a critical delay below which single-token speculation is optimal and shows that the optimal length grows only logarithmically with communication delay. For time-varying networks, we extend the model to Markov-modulated channels and establish, under a bounded horizon and monotone stopping-region conditions, a state-dependent threshold policy. For unknown environments, we propose UCB-SpecStop, an online control algorithm with gap-free and gap-dependent expected regret bounds of $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ and $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$. We implement the method on a real edge-cloud testbed with a Jetson Orin Nano Super edge node and an RTX~3090 Ti cloud node, using Qwen and Llama draft--target pairs. Experiments validate the predicted phase transition, with transition points near 83~ms and 111~ms. Qwen matches the geometric prediction, while Llama requires empirical-prefix calibration due to heavy-head acceptance. Across the tested delay grid, UCB-SpecStop reduces per-token latency over SpecDec++ by up to 22.4\%, approaches an offline oracle within 0.2--2.4\% in communication-dominated regimes, improves over naive UCB by up to 7.5\%, removes the 14.0--18.7\% gap caused by static tuning under delay drift, and gains 3.0--6.8\% with contextual channel-state information.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20591v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing, Large Language Model

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing, Large Language Model

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.15894v1cs.LG공통 태그 Computational Efficiency, Sequential Decision Making, Large Language Model

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.13407v1cs.LG공통 태그 Computational Efficiency, Multi-Armed Bandits, Sequential Decision Making

지속적 후보 집합을 활용한 선형 밴딧 가속화

Accelerating Linear Bandits with Persistent Candidate Sets

행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.

arXiv:2610.02632v1cs.LG공통 태그 Computational Efficiency, Multi-Armed Bandits, Large Language Model

비용 제약 조건 하에서 언어 모델 응답의 온라인 검증

Online Verification of Language Model Responses Under Cost Constraints

대규모 언어 모델(LLM)이 다단계 추론(multi-step reasoning)에 점점 더 많이 활용됨에 따라, 대규모 환경에서 신뢰성을 유지하기 위해 출력의 정확성을 검증하는 것이 필수가 되었습니다. 대규모 언어 모델 출력의 정확성 검증은 주로 많은 비용이 드는 정답 오라클(ground-truth oracle)에 질의하여 수행되지만, 온라인 환경에서 매 단계마다 이를 호출하는 것은 비현실적입니다. 기존 연구에서는 매 단계마다 단일 약한 검증기(weak verifier)에 질의하고, 그 점수를 활용해 비용이 많이 드는 강력한 검증기에도 질의할지 여부를 결정함으로써, 소수의 단계에서만 강력한 검증을 수행하도록 하여 이 문제를 해결했습니다. 그러나 유입되는 쿼리의 주제나 난이도가 시간에 따라 변함에 따라 단일 고정 약한 검증기는 일관되게 우수한 성능을 내지 못할 수 있으며, 사전에 하나를 정해두는 것은 지나치게 많은 비용이 들거나 부정확한 검증으로 이어질 위험이 있습니다. 본 논문에서는 비용과 검증 성능이 서로 다른 $K$개의 후보 약한 검증기 풀을 유지하고, 온라인 점수 결합기(online score combiner) 및 지수 가중치 라우팅 정책(exponential-weights routing policy)을 통해 선택된 검증기로 매 라운드의 결정을 적응형으로 라우팅하는 알고리즘인 OMVV(Online Multi-Verifier Verification)를 제안합니다. OMVV는 전체 검증기 풀에 걸쳐 위양성(false-accept) 및 위음성(false-reject) 비율에 대한 분포 무관(distribution-free) 유한 시간 보장을 제공하며, 비용과 일관성을 결합한 목적 함수 하에서 사후 최적의 고정 검증기 대비 준선형 리그릿(sublinear regret)을 추가로 달성합니다. 추론 데이터셋 벤치마크에 대한 실험 결과, OMVV는 다양한 운영 예산 범위 전반에서 단일 고정 검증기보다 더 낮은 검증 비용으로 더 높은 정확도를 달성함을 보여줍니다.

arXiv:2610.02828v1cs.AI공통 태그 Multi-Armed Bandits, Sequential Decision Making, Large Language Model

FSPO: 예산 제약 기반 LLM 강화학습 사후 학습을 위한 정책 일관적 위험 및 파레토 실행 가능 제어

FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training

적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.