Task Runtime Prediction in Scientific Workflows Using an Online Incremental Learning Approach
원문 초록
Many algorithms in workflow scheduling and resource provisioning rely on the performance estimation of tasks to produce a scheduling plan. A profiler that is capable of modeling the execution of tasks and predicting their runtime accurately, therefore, becomes an essential part of any Workflow Management System (WMS). With the emergence of multi-tenant Workflow as a Service (WaaS) platforms that use clouds for deploying scientific workflows, task runtime prediction becomes more challenging because it requires the processing of a significant amount of data in a near real-time scenario while dealing with the performance variability of cloud resources. Hence, relying on methods such as profiling tasks' execution data using basic statistical description (e.g., mean, standard deviation) or batch offline regression techniques to estimate the runtime may not be suitable for such environments. In this paper, we propose an online incremental learning approach to predict the runtime of tasks in scientific workflows in clouds. To improve the performance of the predictions, we harness fine-grained resources monitoring data in the form of time-series records of CPU utilization, memory usage, and I/O activities that are reflecting the unique characteristics of a task's execution. We compare our solution to a state-of-the-art approach that exploits the resources monitoring data based on regression machine learning technique. From our experiments, the proposed strategy improves the performance, in terms of the error, up to 29.89%, compared to the state-of-the-art solutions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AKG: Automatic Kernel Generation for Neural Processing Units using Polyhedral Transformations
LazyAgent: 수요 기반 구체화 및 에이전트 프로그램의 물리적 최적화
LazyAgent: Demand-Driven Materialization and Physical Optimization of Agentic Programs
행동에 앞서 계획을 세우는 에이전트 런타임은 각 단계가 준비되는 즉시 실행한다. 이러한 런타임도 그 벤치마크도 준비된 단계와 요청이 필요로 하는 단계를 구별하지 않으며, 그 차이는 크다. 154개의 프로덕션 워크플로에 대한 303개 요청에서, 목표가 달성되면 멈추는 즉시 실행(eager) 런타임은 CPU의 62.2%를 요청이 전혀 필요로 하지 않은 작업에 소비한다. LazyAgent는 우리가 아는 한 에이전트 런타임을 위한 수요 기반 실행의 최초의 완전한 정식화이다. 그 규칙은 준비된 단계를 현재 요청이 필요로 할 때만 실행하고, 계획이 바뀌어도 그 답을 정확하게 유지하는 것이다. 프로그램에서 도출된 수요 집합이 모델 호출 없이 한 번의 순회로 이를 결정하므로, LazyAgent는 요청 밖에서는 아무것도 소비하지 않는다. 수요가 정확하게 정의되기 때문에 그 동작이 증명되며, 빌더는 어떤 실행 이전에도 수요가 어디에서 절감해야 하고 어디에서 동률이어야 하는지 알 수 있다. 계획이 실행되기 전에 비용이 알려지므로, LazyAgent는 쿼리 옵티마이저로서 후보 워크플로 중에서 선택할 수 있다. 해당 즉시 실행 런타임과 비교한 실측에서, LazyAgent는 최첨단 LLM이 패치를 작성하는 릴리스 게이트에서 컨테이너 시간을 51.7%와 52.1% 절감하고, 동일한 품질의 DataSciBench 계획에서 토큰을 12.8%, 실제 LangGraph 애플리케이션에서 비용을 24.0% 절감하며, 손실은 없다. LLM이 실제 코드 실패 후 재계획할 때는 해결 가능한 모든 목표를 목표당 토큰 11.7% 적게 사용하여 해결한다. 프로덕션 워크플로에서는 CPU를 42.0% 절감하고, 요청이 전체 그래프를 필요로 하는 경우에는 정확히 동률이며, 오버헤드는 최대 0.43%이다. 동일한 집합이 모든 물리적 연산을 조정하는데, 프로젝션은 공유 CI 단계의 80-89%를 절감하는 반면 동일한 즉시 실행 대조군은 0.0%를 절감한다. 공개 에이전트 벤치마크는 즉시 실행 런타임과 같은 방식으로 설계되어 있어 이 차이를 보여줄 수 없다. 우리는 이들의 과제로 테스트 프로그램을 구성하였으며, 업계에 에이전트 워크플로가 얼마나 효율적으로 실행되는지를 측정하는 벤치마크를 구축할 것을 촉구한다.
강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어
Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning
심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
LUNDRY MANAGEMENT SYSTEM PROJECT REPORT
토론
이 논문과 연결된 포럼 글이 아직 없습니다.