Machine Learning Based Prediction and Classification of Computational Jobs in Cloud Computing Centers
원문 초록
With the rapid growth of the data volume and the fast increasing of the computational model complexity in the scenario of cloud computing, it becomes an important topic that how to handle users' requests by scheduling computational jobs and assigning the resources in data center. In order to have a better perception of the computing jobs and their requests of resources, we analyze its characteristics and focus on the prediction and classification of the computing jobs with some machine learning approaches. Specifically, we apply LSTM neural network to predict the arrival of the jobs and the aggregated requests for computing resources. Then we evaluate it on Google Cluster dataset and it shows that the accuracy has been improved compared to the current existing methods. Additionally, to have a better understanding of the computing jobs, we use an unsupervised hierarchical clustering algorithm, BIRCH, to make classification and get some interpretability of our results in the computing centers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DRP-FLR: 스마트 그리드 유연 부하 조절을 위한 수요 반응 잠재력의 데이터 기반 평가
DRP-FLR: Data-Driven Assessment of Demand Response Potential for Flexible Load Regulation in Smart Grids
AI 워크로드와 재생에너지 자원의 급속한 증가는 전력 시스템의 수급 불균형을 악화시켜, 효율적 배분을 위해 설계된 기존 부하 조절 방식이 부적절해지게 하며, 스마트 그리드에서 부하 제어 가능성을 확보하기 위한 수요 반응(DR) 메커니즘의 필요성을 촉발한다. 그러나 기존 DR 중심 접근법은 전기 요금 또는 거주자 편의성 최적화에만 초점을 맞추어 시스템 수준의 균형에 대한 이점이 제한적이다. 다른 접근법들은 이질적 에너지 개체의 다양하고 동적인 소비 패턴을 간과하여 상당한 과조절 또는 저조절을 초래한다. 따라서 우리는 DRP-FLR을 제안한다. 첫째, DRP-FLR은 외생적 지식(예: 개체 정보, 예측 시점)을 역사적 부하 표현에 임베딩하여 정확한 단기 부하 예측을 달성한다. 다음으로, 역사적 부하 곡선을 클러스터링하여 개체별 부하 패턴 프로파일을 구성하고, 예측된 부하와 패턴 프로파일을 매칭하여 DR 잠재력을 추정한다. 마지막으로, DRP-FLR은 유연 부하 조절을 혼합 정수 최적화 문제로 공식화하고 MILP 솔버로 이를 풀어 DR 활용, 참여자 경제적 이익, 재생에너지 수용을 공동으로 최적화하면서 수급 균형과 경제적 실현 가능성을 강제한다. 지역 그리드와 캠퍼스 마이크로그리드에서의 실험은 DRP-FLR이 조절 편차를 36.63%-91.87% 감소시키고 참여자 이익을 평균 44.66% 개선함을 보여준다.
지리 분산 서버리스 클라우드에서 SLA 제약 탄소 인식 라우팅
SLA-Constrained Carbon-Aware Routing in Geo-Distributed Serverless Clouds
현대 클라우드 배포는 애플리케이션을 여러 지리적 리전에 분산하지만, 표준 라우팅 메커니즘은 지연 시간(latency)을 우선시하면서 지역 전력망의 변동하는 탄소 집약도(carbon intensity)를 무시한다. 지연 시간 중심 라우팅은 특히 더 깨끗한 리전이 허용 가능한 지연 시간 범위 내에 있을 때 불필요한 탄소 배출을 초래한다. 제안된 모델은 탄소 인식 서버리스 라우팅 문제를 지리 분산 클라우드 리전에 대한 제약 최적화(constrained optimization)로 공식화하고, SLA-실행 가능 영역 내에서 최적의 탄소 감축을 달성하는 SLA 제약 탄소 인식 라우팅 정책을 도입하며, 이를 5개 주요 AWS 배포에 걸친 실제 탄소 집약도 측정값으로 평가한다. 실험 결과, 제안된 정책은 평가된 모든 임계값에서 SLA 위반 없이 최대 46.8%의 탄소 감축을 달성한다. 해당 시스템은 혼합 워크로드(mixed workloads) 하에서 평균 27.4%의 탄소를 감축하며, 라우팅 오버헤드는 매우 낮다(총 요청 지연 시간의 0.02% 미만). 6개 대륙에 걸친 12개 AWS 리전에 대한 확장성(scalability) 연구는 혼합 워크로드 하에서 라우팅 유연성이 확대됨에 따라 평균 탄소 절감이 27.4%에서 47.5%로 증가함을 보여준다. 제안된 연구는 저탄소 라우팅 결정을 가능하게 함으로써 SDG 13(기후 행동) 및 SDG 7(경제적이고 깨끗한 에너지)에 기여한다. 이 결과는 클라우드 시스템이 사용자 경험을 저해하지 않으면서도 상당한 탄소 절감을 달성할 수 있음을 시사한다.
Multi Objective Prioritized Workflow Scheduling Using Deep Reinforcement Based Learning in Cloud Computing
DRALBA: Dynamic and Resource Aware Load Balanced Scheduling Approach for Cloud Computing
Performing Image Classification for 10 Different Monkey Species using CNN
Statistical characterization and classification of colon microarray gene expression data using multiple machine learning paradigms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.