PELM: 추측 디코딩과 동적 전압 주파수 스케일링을 활용한 전력 효율적 온디바이스 LLM 추론
PELM: Power Efficient On-Device LLM Inference with Speculative Decoding and Dynamic Voltage Frequency Scaling
한국어 초록
프라이버시 향상, 개인화, 지연 시간 감소 등 다양한 이점으로 엣지의 모바일 플랫폼에 대규모 언어 모델(LLM)을 직접 배포하는 방식이 주목받고 있다. 그러나 LLM은 높은 계산 요구량을 갖고 있어, 자원이 제한된 모바일 및 엣지 플랫폼이 이를 충족하기 어렵다. 계산 자원 제한 외에도 모바일 및 엣지 시스템은 종종 소형 폼팩터를 갖고, 높은 프로세서 사용률로 발생하는 열을 배출할 물리적 수단(예: 팬)이 없어 스로틀링과 처리 성능 저하를 막기 어렵고, LLM은 이를 쉽게 유발할 수 있다. 이를 완화하기 위해 선행 연구들은 모바일 플랫폼에서 무거운 계산 작업의 전력 및 발열을 줄이기 위해 동적 전압 및 주파수 스케일링(DVFS)과 같은 다양한 전력 관리 전략을 제안했다. 최근 모바일 LLM에 맞춘 DVFS 방법도 제안되었으나, 이러한 방법은 대부분 하드웨어 매개변수와 프로세서 주파수 최적화에 초점을 두며, 일부 열 제약 시나리오에서는 한계를 보인다. 최근 머신러닝 연구의 진전에서, 고품질 생성을 유지하기 위해 모든 토큰이 전 깊이(full-depth) 추론을 필요로 하지 않는다는 핵심 통찰을 우리는 식별하고 이를 활용한다. 이에 영감을 받아, 우리는 PELM을 제present한다. PELM은 전통적인 DVFS 프로세서 주파수 조정에 두 가지 워크로드 특화 조절 요소, 즉 1) 추측 디코딩(speculative decoding)과 2) 가변 검증 깊이(variable verification depth)를 더해 최적화 공간을 다차원으로 확장하고, 보다 전력 효율적인 온디바이스 LLM 추론을 달성하는 솔루션이다. 다양한 하드웨어 플랫폼과 데이터셋에 걸친 광범위한 평가에서 PELM은 최신 전력 관리 방법 대비 우수한 성능을 보이며, 최대 23.1% 속도 향상과 52.4% 에너지 소비 감소를 달성하면서 유사한 수준의 태스크 성능을 유지한다. 소스 코드는 https://github.com/imec-nu/PELM 에서 이용할 수 있다.
원문 초록
Deploying Large Language Models (LLMs) directly on mobile platforms at the edge is gaining traction due to a myriad of benefits, such as increased privacy, personalization, and reduced latency. However, LLMs have heavy computational requirements, which are difficult for resource-constrained mobile and edge platforms to fulfill. In addition to limited compute resources, mobile and edge systems often have a compact form factor and lack physical mechanisms to dissipate heat generated from high processor usage rates (e.g., fans) to prevent throttling and reduced processing power, which LLMs can easily cause. To mitigate these effects, prior works have proposed various power governing strategies, such as dynamic voltage and frequency scaling (DVFS), for reducing power and heat generation for heavy computational tasks on mobile platforms. Recently, DVFS methods tailored for mobile LLMs have also been proposed. However, these methods mostly focus on optimizing hardware parameters and processor frequencies, and they fall short under some thermally constrained scenarios. Drawing from recent advances in machine learning, we identify and take advantage of the key insight that not all tokens require full-depth inference to maintain high-quality generation. Motivated by this, we present PELM, a solution that augments traditional DVFS processor frequency tuning with two additional workload-specific knobs: 1) speculative decoding and 2) variable verification depth to expand the optimization space to multiple dimensions for more power efficient on-device LLM inference. In extensive evaluations across hardware platforms and datasets, PELM demonstrates superior performance compared to state-of-the-art power governing methods, with up to 23.1% speedup and 52.4% reduction in energy consumption, while maintaining comparable task performance. The source code is available at https://github.com/imec-nu/PELM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.09662v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.