HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing
원문 초록
Nowadays, deep neural networks (DNNs) are the core enablers for many emerging edge AI applications. Conventional approaches to training DNNs are generally implemented at central servers or cloud centers for centralized learning, which is typically time-consuming and resource-demanding due to the transmission of a large amount of data samples from the device to the remote cloud. To overcome these disadvantages, we consider accelerating the learning process of DNNs on the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose HierTrain, a hierarchical edge AI learning framework, which efficiently deploys the DNN training task over the hierarchical MECC architecture. We develop a novel \textit{hybrid parallelism} method, which is the key to HierTrain, to adaptively assign the DNN model layers and the data samples across the three levels of edge device, edge server and cloud center. We then formulate the problem of scheduling the DNN training tasks at both layer-granularity and sample-granularity. Solving this optimization problem enables us to achieve the minimum training time. We further implement a hardware prototype consisting of an edge device, an edge server and a cloud server, and conduct extensive experiments on it. Experimental results demonstrate that HierTrain can achieve up to 6.9x speedup compared to the cloud-based hierarchical training approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지리 분산 서버리스 클라우드에서 SLA 제약 탄소 인식 라우팅
SLA-Constrained Carbon-Aware Routing in Geo-Distributed Serverless Clouds
현대 클라우드 배포는 애플리케이션을 여러 지리적 리전에 분산하지만, 표준 라우팅 메커니즘은 지연 시간(latency)을 우선시하면서 지역 전력망의 변동하는 탄소 집약도(carbon intensity)를 무시한다. 지연 시간 중심 라우팅은 특히 더 깨끗한 리전이 허용 가능한 지연 시간 범위 내에 있을 때 불필요한 탄소 배출을 초래한다. 제안된 모델은 탄소 인식 서버리스 라우팅 문제를 지리 분산 클라우드 리전에 대한 제약 최적화(constrained optimization)로 공식화하고, SLA-실행 가능 영역 내에서 최적의 탄소 감축을 달성하는 SLA 제약 탄소 인식 라우팅 정책을 도입하며, 이를 5개 주요 AWS 배포에 걸친 실제 탄소 집약도 측정값으로 평가한다. 실험 결과, 제안된 정책은 평가된 모든 임계값에서 SLA 위반 없이 최대 46.8%의 탄소 감축을 달성한다. 해당 시스템은 혼합 워크로드(mixed workloads) 하에서 평균 27.4%의 탄소를 감축하며, 라우팅 오버헤드는 매우 낮다(총 요청 지연 시간의 0.02% 미만). 6개 대륙에 걸친 12개 AWS 리전에 대한 확장성(scalability) 연구는 혼합 워크로드 하에서 라우팅 유연성이 확대됨에 따라 평균 탄소 절감이 27.4%에서 47.5%로 증가함을 보여준다. 제안된 연구는 저탄소 라우팅 결정을 가능하게 함으로써 SDG 13(기후 행동) 및 SDG 7(경제적이고 깨끗한 에너지)에 기여한다. 이 결과는 클라우드 시스템이 사용자 경험을 저해하지 않으면서도 상당한 탄소 절감을 달성할 수 있음을 시사한다.
Multi Objective Prioritized Workflow Scheduling Using Deep Reinforcement Based Learning in Cloud Computing
DRALBA: Dynamic and Resource Aware Load Balanced Scheduling Approach for Cloud Computing
Optimal Sensor Scheduling and Selection for Continuous-Discrete Kalman Filtering with Auxiliary Dynamics
SystolicAttention: Fusing FlashAttention within a Single Systolic Array
ANN-Based Grid Impedance Estimation for Adaptive Gain Scheduling in VSG Under Dynamic Grid Conditions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.