PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20591v1cs.NI

저지연 엣지-클라우드 LLM 추론을 위한 지연 적응형 투기 제어

Delay-Adaptive Speculation Control for Low-Latency Edge-Cloud LLM Inference

투기 디코딩(speculative decoding)은 경량 드래프트 모델이 토큰을 제안하고 더 큰 타깃 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 분산형 엣지-클라우드 추론에서는 드래프트 길이를 온라인으로 제어해야 한다. 더 긴 드래프트는 통신 지연을 상각하지만 토큰 수용률을 낮추는 반면, 더 짧은 드래프트는 수용률을 유지하지만 통신 라운드를 더 많이 유발한다. 우리는 이 절충을 비율형 최적 정지 문제로 정식화하고, 최적 드래프트 길이가 유한한 지연 단조 임계값임을 증명한다. 분석은 단일 토큰 투기가 최적인 임계 지연 이하 구간을 밝히고, 최적 길이가 통신 지연에 대해 로그적으로만 증가함을 보인다. 시간 변동 네트워크에 대해 모델을 마르코프 변조 채널로 확장하고, 유한 수평선과 단조 정지 영역 조건 하에서 상태 의존 임계값 정책을 확립한다. 알려지지 않은 환경에서는 UCB-SpecStop이라는 온라인 제어 알고리즘을 제안하며, 이는 gap-free 및 gap-dependent 기대 후회(regret) 상계가 각각 $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ 및 $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$이다. Jetson Orin Nano Super 엣지 노드와 RTX~3090 Ti 클라우드 노드를 사용하는 실제 엣지-클라우드 테스트베드에서 Qwen과 Llama 드래프트-타깃 쌍으로 방법을 구현한다. 실험은 예측된 상전이를 검증하며, 전이점은 약 83~ms 및 111~ms 부근이다. Qwen은 기하학적 예측과 일치하지만, Llama는 heavy-head acceptance 때문에 경험적 접두 문맥 보정이 필요하다. 테스트된 지연 격자 전반에서 UCB-SpecStop은 SpecDec++ 대비 토큰당 지연을 최대 22.4%까지 줄이고, 통신 지배 영역에서 오프라인 오라클에 0.2--2.4% 이내로 근접하며, 순진한 UCB 대비 최대 7.5% 개선하고, 지연 드리프트 하 정적 튜닝이 야기한 14.0--18.7% 격차를 제거하며, 문맥적 채널 상태 정보로 3.0--6.8%의 이득을 얻는다.