arXiv:2108.02037

The MIT Supercloud Dataset

Siddharth Samsi, Matthew L Weiss, David Bestor, Baolin Li, Michael Jones, Albert Reuther, Daniel Edelman, William Arcand, Chansup Byun, John Holodnack, Matthew Hubbell, Jeremy Kepner, Anna Klein, Joseph McDonald, Adam Michaleas 외 12명

제출 2021-08-04

원문 초록

Artificial intelligence (AI) and Machine learning (ML) workloads are an increasingly larger share of the compute workloads in traditional High-Performance Computing (HPC) centers and commercial cloud systems. This has led to changes in deployment approaches of HPC clusters and the commercial cloud, as well as a new focus on approaches to optimized resource usage, allocations and deployment of new AI frame- works, and capabilities such as Jupyter notebooks to enable rapid prototyping and deployment. With these changes, there is a need to better understand cluster/datacenter operations with the goal of developing improved scheduling policies, identifying inefficiencies in resource utilization, energy/power consumption, failure prediction, and identifying policy violations. In this paper we introduce the MIT Supercloud Dataset which aims to foster innovative AI/ML approaches to the analysis of large scale HPC and datacenter/cloud operations. We provide detailed monitoring logs from the MIT Supercloud system, which include CPU and GPU usage by jobs, memory usage, file system logs, and physical monitoring data. This paper discusses the details of the dataset, collection methodology, data availability, and discusses potential challenge problems being developed using this data. Datasets and future challenge announcements will be available via https://dcc.mit.edu.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, CPU, Scheduling

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2607.10183v1cs.DC공통 태그 GPU, CPU, Scheduling

소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.

arXiv:2607.05475v1cs.AR공통 태그 GPU, CPU, Scheduling

당신의 NPU는 LLM을 위해 준비되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 분석

Is Your NPU Ready for LLMs? Dissecting the Hidden Efficiency Bottlenecks in Mobile LLM Inference

모바일 기기에 대규모 언어 모델(LLM)을 배포하면 프라이버시를 강화하고 지연 시간을 줄일 수 있지만, 하드웨어 비효율성으로 인해 심각한 병목이 발생한다. 본 연구에서는 5개의 주류 프레임워크(예: llama.cpp, GENIE)와 3개의 하드웨어 백엔드(CPU, GPU, NPU)를 아우르는 최초의 포괄적인 크로스 레이어 모바일 LLM 추론 측정 연구를 제시한다. 이 분석을 가능하게 하기 위해, 기존의 기기 수준 측정을 넘어 최초로 백엔드별 에너지 귀인을 제공하는 세밀한 프로파일링 도구인 PowerBench를 개발하였다. 본 연구는 세 가지 핵심 인사이트를 도출한다: (1) 프레임워크로 인한 성능 격차는 NPU에서 크게 증폭되며, 오프로딩 및 양자화 전략의 차이로 인해 커스텀 연산자 사용 시 최대 10배에 달한다. (2) NPU가 연산 집약적인 프리필링(prefilling)에서 뛰어난 성능을 보이는 반면, CPU는 메모리 집약적인 디코딩에서 다른 모든 백엔드를 능가하는 명확한 단계 분리를 확인하였다. 이는 디코딩의 소형 커널, 동적 특성과 충돌하는 NPU의 대형 고정 형상 워크로드 선호에 기인한다. (3) 백엔드별 프로파일링을 통해 기존 연구에서 간과된 상당한 스케줄링 여유 공간이 드러났다. 최적화되지 않은 스레드 구성, 비조율된 NPU 슬립 지연 시간, CPU 폴링 간격으로 인해 최대 40%의 에너지 낭비가 발생한다. 이러한 연구 결과를 바탕으로, 모바일 LLM 추론을 위한 에너지 중심의 모범 구성을 제시한다. 이 구성은 세 개의 데이터셋에 걸쳐 NPU 백엔드에서 에너지 소비를 최대 54.8%까지 절감할 수 있을 것으로 추정된다.

arXiv:2607.04951v1cs.DC공통 태그 GPU, CPU, Scheduling

단어가 작업 부하를 예측할 때

When Words Predict Workload

표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.

arXiv:2609.23058v2cs.AI공통 태그 CPU, Scheduling

LazyAgent: 수요 기반 구체화 및 에이전트 프로그램의 물리적 최적화

LazyAgent: Demand-Driven Materialization and Physical Optimization of Agentic Programs

행동에 앞서 계획을 세우는 에이전트 런타임은 각 단계가 준비되는 즉시 실행한다. 이러한 런타임도 그 벤치마크도 준비된 단계와 요청이 필요로 하는 단계를 구별하지 않으며, 그 차이는 크다. 154개의 프로덕션 워크플로에 대한 303개 요청에서, 목표가 달성되면 멈추는 즉시 실행(eager) 런타임은 CPU의 62.2%를 요청이 전혀 필요로 하지 않은 작업에 소비한다. LazyAgent는 우리가 아는 한 에이전트 런타임을 위한 수요 기반 실행의 최초의 완전한 정식화이다. 그 규칙은 준비된 단계를 현재 요청이 필요로 할 때만 실행하고, 계획이 바뀌어도 그 답을 정확하게 유지하는 것이다. 프로그램에서 도출된 수요 집합이 모델 호출 없이 한 번의 순회로 이를 결정하므로, LazyAgent는 요청 밖에서는 아무것도 소비하지 않는다. 수요가 정확하게 정의되기 때문에 그 동작이 증명되며, 빌더는 어떤 실행 이전에도 수요가 어디에서 절감해야 하고 어디에서 동률이어야 하는지 알 수 있다. 계획이 실행되기 전에 비용이 알려지므로, LazyAgent는 쿼리 옵티마이저로서 후보 워크플로 중에서 선택할 수 있다. 해당 즉시 실행 런타임과 비교한 실측에서, LazyAgent는 최첨단 LLM이 패치를 작성하는 릴리스 게이트에서 컨테이너 시간을 51.7%와 52.1% 절감하고, 동일한 품질의 DataSciBench 계획에서 토큰을 12.8%, 실제 LangGraph 애플리케이션에서 비용을 24.0% 절감하며, 손실은 없다. LLM이 실제 코드 실패 후 재계획할 때는 해결 가능한 모든 목표를 목표당 토큰 11.7% 적게 사용하여 해결한다. 프로덕션 워크플로에서는 CPU를 42.0% 절감하고, 요청이 전체 그래프를 필요로 하는 경우에는 정확히 동률이며, 오버헤드는 최대 0.43%이다. 동일한 집합이 모든 물리적 연산을 조정하는데, 프로젝션은 공유 CI 단계의 80-89%를 절감하는 반면 동일한 즉시 실행 대조군은 0.0%를 절감한다. 공개 에이전트 벤치마크는 즉시 실행 런타임과 같은 방식으로 설계되어 있어 이 차이를 보여줄 수 없다. 우리는 이들의 과제로 테스트 프로그램을 구성하였으며, 업계에 에이전트 워크플로가 얼마나 효율적으로 실행되는지를 측정하는 벤치마크를 구축할 것을 촉구한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.