arXiv:2310.00854

Regulating CPU Temperature With Thermal-Aware Scheduling Using a Reduced Order Learning Thermal Model

Anthony Dowling, Lin Jiang, Ming-Cheng Cheng, Yu Liu

제출 2023-10-02

원문 초록

Modern real-time systems utilize considerable amounts of power while executing computation-intensive tasks. The execution of these tasks leads to significant power dissipation and heating of the device. It therefore results in severe thermal issues like temperature escalation, high thermal gradients, and excessive hot spot formation, which may result in degrading chip performance, accelerating device aging, and premature failure. Thermal-Aware Scheduling (TAS) enables optimization of thermal dissipation to maintain a safe thermal state. In this work, we implement a new TAS algorithm, POD-TAS, which manages the thermal behavior of a multi-core CPU based on a defined set of states and their transitions. We compare the performances of a dynamic RC thermal circuit simulator (HotSpot) and a reduced order Proper Orthogonal Decomposition (POD)-based thermal model and we select the latter for use in our POD-TAS algorithm. We implement a novel simulation-based evaluation methodology to compare TAS algorithms. This methodology is used to evaluate the performance of the proposed POD-TAS algorithm. Additionally, we compare the performance of a state of the art TAS algorithm, RT-TAS, to our proposed POD-TAS algorithm. Furthermore, we utilize the COMBS benchmark suite to provide CPU workloads for task scheduling. Our experimental results on a multi-core processor using a set of 4 benchmarks demonstrate that the proposed POD-TAS method can improve thermal performance by decreasing the peak thermal variance by 53.0% and the peak chip temperature of 29.01%. Using a set of 8 benchmarks, the comparison of the two algorithms shows a decrease of 29.57% in the peak spatial variance of the chip temperature and 26.26% in the peak chip temperature. We also identify several potential future research directions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27547v1cs.LG공통 태그 CPU, Scheduling

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2607.10183v1cs.DC공통 태그 CPU, Scheduling

소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.

arXiv:2607.05475v1cs.AR공통 태그 CPU, Scheduling

당신의 NPU는 LLM을 위해 준비되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 분석

Is Your NPU Ready for LLMs? Dissecting the Hidden Efficiency Bottlenecks in Mobile LLM Inference

모바일 기기에 대규모 언어 모델(LLM)을 배포하면 프라이버시를 강화하고 지연 시간을 줄일 수 있지만, 하드웨어 비효율성으로 인해 심각한 병목이 발생한다. 본 연구에서는 5개의 주류 프레임워크(예: llama.cpp, GENIE)와 3개의 하드웨어 백엔드(CPU, GPU, NPU)를 아우르는 최초의 포괄적인 크로스 레이어 모바일 LLM 추론 측정 연구를 제시한다. 이 분석을 가능하게 하기 위해, 기존의 기기 수준 측정을 넘어 최초로 백엔드별 에너지 귀인을 제공하는 세밀한 프로파일링 도구인 PowerBench를 개발하였다. 본 연구는 세 가지 핵심 인사이트를 도출한다: (1) 프레임워크로 인한 성능 격차는 NPU에서 크게 증폭되며, 오프로딩 및 양자화 전략의 차이로 인해 커스텀 연산자 사용 시 최대 10배에 달한다. (2) NPU가 연산 집약적인 프리필링(prefilling)에서 뛰어난 성능을 보이는 반면, CPU는 메모리 집약적인 디코딩에서 다른 모든 백엔드를 능가하는 명확한 단계 분리를 확인하였다. 이는 디코딩의 소형 커널, 동적 특성과 충돌하는 NPU의 대형 고정 형상 워크로드 선호에 기인한다. (3) 백엔드별 프로파일링을 통해 기존 연구에서 간과된 상당한 스케줄링 여유 공간이 드러났다. 최적화되지 않은 스레드 구성, 비조율된 NPU 슬립 지연 시간, CPU 폴링 간격으로 인해 최대 40%의 에너지 낭비가 발생한다. 이러한 연구 결과를 바탕으로, 모바일 LLM 추론을 위한 에너지 중심의 모범 구성을 제시한다. 이 구성은 세 개의 데이터셋에 걸쳐 NPU 백엔드에서 에너지 소비를 최대 54.8%까지 절감할 수 있을 것으로 추정된다.

arXiv:2607.04951v1cs.DC공통 태그 CPU, Scheduling

단어가 작업 부하를 예측할 때

When Words Predict Workload

표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.