arXiv:2105.05079

Machine Learning (ML)-Centric Resource Management in Cloud Computing: A Review and Future Directions

Tahseen Khan, Wenhong Tian, Rajkumar Buyya

제출 2021-05-09

원문 초록

Cloud computing has rapidly emerged as model for delivering Internet-based utility computing services. In cloud computing, Infrastructure as a Service (IaaS) is one of the most important and rapidly growing fields. Cloud providers provide users/machines resources such as virtual machines, raw (block) storage, firewalls, load balancers, and network devices in this service model. One of the most important aspects of cloud computing for IaaS is resource management. Scalability, quality of service, optimum utility, reduced overheads, increased throughput, reduced latency, specialised environment, cost effectiveness, and a streamlined interface are some of the advantages of resource management for IaaS in cloud computing. Traditionally, resource management has been done through static policies, which impose certain limitations in various dynamic scenarios, prompting cloud service providers to adopt data-driven, machine-learning-based approaches. Machine learning is being used to handle a variety of resource management tasks, including workload estimation, task scheduling, VM consolidation, resource optimization, and energy optimization, among others. This paper provides a detailed review of challenges in ML-based resource management in current research, as well as current approaches to resolve these challenges, as well as their advantages and limitations. Finally, we propose potential future research directions based on identified challenges and limitations in current research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13923v1cs.NI공통 태그 Scheduling, Management

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2609.23130v1cs.AI공통 태그 Scheduling, Management

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2607.22806v1cs.LG공통 태그 Scheduling, Cloud Computing

지리 분산 서버리스 클라우드에서 SLA 제약 탄소 인식 라우팅

SLA-Constrained Carbon-Aware Routing in Geo-Distributed Serverless Clouds

현대 클라우드 배포는 애플리케이션을 여러 지리적 리전에 분산하지만, 표준 라우팅 메커니즘은 지연 시간(latency)을 우선시하면서 지역 전력망의 변동하는 탄소 집약도(carbon intensity)를 무시한다. 지연 시간 중심 라우팅은 특히 더 깨끗한 리전이 허용 가능한 지연 시간 범위 내에 있을 때 불필요한 탄소 배출을 초래한다. 제안된 모델은 탄소 인식 서버리스 라우팅 문제를 지리 분산 클라우드 리전에 대한 제약 최적화(constrained optimization)로 공식화하고, SLA-실행 가능 영역 내에서 최적의 탄소 감축을 달성하는 SLA 제약 탄소 인식 라우팅 정책을 도입하며, 이를 5개 주요 AWS 배포에 걸친 실제 탄소 집약도 측정값으로 평가한다. 실험 결과, 제안된 정책은 평가된 모든 임계값에서 SLA 위반 없이 최대 46.8%의 탄소 감축을 달성한다. 해당 시스템은 혼합 워크로드(mixed workloads) 하에서 평균 27.4%의 탄소를 감축하며, 라우팅 오버헤드는 매우 낮다(총 요청 지연 시간의 0.02% 미만). 6개 대륙에 걸친 12개 AWS 리전에 대한 확장성(scalability) 연구는 혼합 워크로드 하에서 라우팅 유연성이 확대됨에 따라 평균 탄소 절감이 27.4%에서 47.5%로 증가함을 보여준다. 제안된 연구는 저탄소 라우팅 결정을 가능하게 함으로써 SDG 13(기후 행동) 및 SDG 7(경제적이고 깨끗한 에너지)에 기여한다. 이 결과는 클라우드 시스템이 사용자 경험을 저해하지 않으면서도 상당한 탄소 절감을 달성할 수 있음을 시사한다.

arXiv:2607.22400v1cs.NI공통 태그 Scheduling, Management

자율 엣지 자원 할당을 위한 자기 보정 에이전틱 AI 프레임워크

A Self-Calibrating Agentic AI Framework for Autonomous Edge Resource Allocation

대규모 언어 모델(LLM)은 점점 더 자율 에이전트로 배포되며, 정적 대화형 인터페이스에서 복잡한 추론, 도구 실행, 의사결정이 가능한 동적 시스템으로 전환되고 있다. 그러나 이러한 에이전틱 AI 시스템의 운영 신뢰성은 개방형 환경에서 신뢰할 수 있는 ground truth(기준 진실값)의 부재와 시간이 지남에 따라 운영 드리프트가 증가할 위험에 의해 근본적으로 도전받는다. 이 문제를 해결하기 위해, LLM 기반 시스템 내에서 자율적 무결성을 강제하도록 설계된 에이전틱 AI 프레임워크를 제안하고 실험적으로 평가한다. 우리는 지속적인 인간 감독 없이 ARIMA 예측기(forecaster)를 통합하여 드리프트를 완화하고 ground truth를 동적으로 근사하는 자기 보정(self-calibration) 메커니즘을 설계한다. 방법론의 효과와 신뢰성을 입증하기 위해, 엣지 컴퓨팅 네트워크에서 영지식(zero-knowledge) 워크로드의 자원 사용량 프로파일링이라는 복잡한 영역에 이를 적용한다. 실험 결과, 제안된 자기 보정 에이전틱 프레임워크가 영지식 워크로드를 성공적으로 프로파일링하며, 자원 사용량 예측에서 기준선 LLM 에이전트보다 91.7% 더 높은 정확도를 달성하고, 순수 프로파일링 대비 예측 속도를 71.7% 개선하여, 분산 인프라에 자율 AI를 배포하기 위한 견고한 기반을 마련함을 보여준다. 또한, 제안된 ARIMA leaping 알고리즘을 사용한 ground truth 생성은 동일한 정확도를 달성하면서 표준 ARIMA 예측 알고리즘보다 52% 더 빠르다.

arXiv:2607.20694v1cs.LG공통 태그 Scheduling, Management

귀속 시장: 계획된 작업과 수행된 행동 간 분수 크레딧 할당을 위한 Fisher 시장 공식화

Attribution Markets: A Fisher-Market Formulation for Fractional Credit Assignment Between Planned Tasks and Performed Actions

개인 및 조직의 계획 시스템은 점차 어긋나는 두 가지 기록을 유지한다: 계획된 것(작업의 노력 예산)과 실제로 수행된 것(기록된 행동의 지속 시간과 설명). 기존 시스템은 이 둘을 배타적인 전부 아니면 전무(all-or-nothing) 연결로 이어 붙이는데, 이는 실제로 관련은 있으나 연결되지 않은 노력을 고립시키고 활성 목표에 대한 거짓 정체(false stalls)를 보고한다. 우리는 이 연결을 준선형(quasi-linear) Fisher 시장으로 공식화한다: 계획된 작업은 예산 제약이 있는 구매자, 수행된 행동은 분할 가능한 재화이며, 텍스트/구조/시간적 신호를 융합한 신호가 각 구매자의 가치 평가(valuation)를 설정한다. 두 가지 시장 수단—판매자 예약 가격(seller reserve price)과 구매자 현금 옵션(buyer cash option)—은 보존(conservation), 엄격한 예산 상한, 그리고 증명 가능한 정크 필터(junk filter)를 정리로써 산출한다. 우리는 작업이 계획에 가까워질수록 진행을 할인하는 오목한(comcave) 완료 효용(completion utility)으로 시장을 확장한다; 시장 알고리즘에 대한 표준 수렴 이론은 여기로 전이되지 않으며, 이는 Brouwer 존재 정리와 명시적 대각 우세(diagonal-dominance) 조건 하의 국소 유일성을 갖는 포화 임계값(satiation-threshold) 고정점으로 해결하고, 무작위 및 적대적(adversarial) 사례에서 실증적으로 검증한다. 탈순환(de-circularized) 다중 시드(multi-seed) 벤치마크—관측된 친화도(affinity)가 채점된 정답(ground truth)과 독립적으로 손상됨—은 진짜 약점을 드러낸다: 시장의 날카롭고 엔트로피가 0인 균형은 엔트로피 정규화된 최적 수송(optimal transport)의 영구적으로 평활화된 균형보다 친화도 노이즈에 더 민감하다. 우리는 두 방법을 통합하는 단일 매개변수 엔트로피 정규화 일반화와 그 정규화 강도에 대한 노이즈 적응형 규칙으로 이를 해결한다. 우리는 완전한 재현성 매개변수를 보고하고, 한계를 솔직히 논의하며, 결과를 멀티터치 귀속(multi-touch attribution), 최적 수송, 온라인 Fisher 시장 알고리즘과 연관 짓는다.

arXiv:2607.15229v1cs.LG공통 태그 Scheduling, Management

데이터 기반 블록 교체 스케줄링

Data Driven Block Replacement Scheduling

우리는 \textit{블록 교체 정책(block replacement policy)} 하에서 $N$대의 독립 동형 기계를 유지·관리하기 위한 데이터 기반 알고리즘을 개발한다. 이 정책에서는 각 기계가 고장 시 교체되고, 모든 기계가 길이 $k$의 정규 간격으로 일괄 교체된다. 수명 분포가 알려지지 않은 경우 운영 데이터로부터 비용을 최소화하는 간격 $k^*$를 학습하는 것이 목표이다. 각 의사결정 시점마다 운영자는 $k \in \{1, 2, \ldots, K\}$를 선택하고, 그 결과 고장 이력(완전 수명과 우측 검열(right-censored) 수명의 혼합)을 관측하며, 갱신 함수(renewal function)에 의해 결정되는 단위 시간당 비용을 부담한다. 이를 확률적 다중 팔 밴딧(stochastic multi-armed bandit)으로 형식화하고, $O(K \log T)$ 후회(regret)를 달성하는 Hoeffding 및 Bernstein 기반 하한 신뢰 구간(lower-confidence-bound) 알고리즘을 제안하며, 이는 Lai--Robbins 하한과 일치한다. 블록 교체에 고유한 중첩 관측(nested observation) 성질을 활용한 상관 변형(correlated variants)은 $O((K-k^*)\log T)$ 후회를 달성하고, 차선 arm $k < k^*$에 대한 직접 pull은 $O(1)$번만 필요하다. 보완적으로 Kaplan--Meier 갱신 알고리즘은 검열 데이터로부터 수명 분포를 비모수적으로 추정하여, 거의 확실(almost-sure)한 정책 일관성을 달성하고 장기 구간에서 실증적으로 거의 0에 가까운 추가 후회를 보인다. 또한 평균 비용 MDP 두 가지를 분석한다. 경과 시간(time-elapsed) 형식화는 임의의 수명 분포에 대해 블록 교체가 해당 정책 클래스 내에서 최적임을 보이고, 연령 벡터(age-vector) 형식화는 증가하는 고장률(increasing failure rate) 분포 하에서 단조 임계값(monotone threshold) 구조를 증명하며 gold-standard 비용 벤치마크를 제공한다. 수치 실험은 이론적 순서를 확인하고, 최적 블록 교체와 연령 의존(age-dependent) 교체 사이의 구조적 비용 격차를 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.