SpecSearch: 하드웨어를 고려한 효율적 추측 디코딩
SpecSearch: Towards Hardware-Aware Efficient Speculative Decoding
한국어 초록
추측 디코딩(SD)은 대규모 언어 모델(LLM)의 추론을 가속하지만 최적 설정은 작업 부하 특성, GPU 하드웨어, 가용 메모리에 함께 좌우된다. 예를 들어 RTX 5090에서 최신 최고 성능의 추측 초안 모델 DFlash는 동시 요청이 적을 때 자기회귀(AR) 디코딩 처리량의 $3.50\times$를 달성한다. 짧은 출력을 요구하는 동시 요청이 많을 때는 $0.76\times$에 그친다. 작업 부하와 GPU의 조합마다 디코딩 전략, 초안 길이, 정밀도를 함께 최적화하는 하드웨어 인식 탐색 엔진 SpecSearch를 소개한다. 분석적 비용 모델은 메모리와 연산 제약을 반영해 실행 가능한 설정을 찾고, 처리량 최적화의 탐색 범위를 좁힌다. 이 모델에 따라 여러 GPU에서 보정 측정값을 수집했다. 이 측정값으로 Jev 기반 예측기를 학습해, 배포할 GPU에서 보정하지 않아도 학습에 쓰지 않은 GPU에 적합한 높은 처리량의 디코딩 설정을 선택하게 한다. 동결한 Qwen3-4B에 LoRA 어댑터와 선형 보정 층을 적용해 보정 데이터로 매개변수 효율적으로 학습한다. NVIDIA RTX 5090, H100, L40과 AMD MI300X에서 전체 보정을 수행한 SpecSearch는 vLLM으로 제공한 AR 대비 평균 $2.01\times$, SD 대비 $1.36\times$의 처리량을 달성했다. Jev 기반 예측기도 vLLM의 SD 대비 $1.30\times$의 처리량으로 이 탐색의 성능에 근접했다. 평가용 GPU에서 보정할 필요가 없으면서, 전체 보정을 사용한 SpecSearch 처리량의 $97.36\%$를 유지했다.
원문 초록
Speculative decoding (SD) accelerates large language model (LLM) inference, but its optimal configuration depends jointly on workload characteristics, GPU hardware, and available memory. For example, on the RTX~5090, the state-of-the-art speculative drafter DFlash achieves $3.50\times$ the throughput of autoregressive (AR) decoding at low concurrency, but only $0.76\times$ at high concurrency with short outputs. We present SpecSearch, a hardware-aware search engine that jointly optimizes decoding strategy, draft length, and precision across workload--GPU pairs. Its analytical cost model captures memory and compute constraints to identify feasible configurations and narrow the search space for throughput optimization. Guided by this model, calibration measurements are collected from multiple GPUs. Using the measurements, a Jev-based predictor learns to select high-throughput decoding configurations on held-out GPUs without requiring deployment-GPU calibration. The predictor is parameter-efficiently trained on calibration data, while adapting a frozen Qwen3-4B using LoRA adapters and a linear correction layer. Across NVIDIA RTX~5090, H100, L40 and AMD MI300X GPUs, SpecSearch with full calibration achieves an average of $2.01\times$ the throughput of AR and $1.36\times$ the throughput of SD, both served by vLLM. The proposed Jev-based predictor closely matches this search performance with $1.30\times$ throughput improvement over SD with vLLM, while eliminating the need for held-out GPU calibration. Additionally, it retains $97.36\%$ of the throughput achieved by SpecSearch that utilizes full calibration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22296v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.