Performance and Power Modeling and Prediction Using MuMMI and Ten Machine Learning Methods
원문 초록
In this paper, we use modeling and prediction tool MuMMI (Multiple Metrics Modeling Infrastructure) and ten machine learning methods to model and predict performance and power and compare their prediction error rates. We use a fault-tolerant linear algebra code and a fault-tolerant heat distribution code to conduct our modeling and prediction study on the Cray XC40 Theta and IBM BG/Q Mira at Argonne National Laboratory and the Intel Haswell cluster Shepard at Sandia National Laboratories. Our experiment results show that the prediction error rates in performance and power using MuMMI are less than 10% for most cases. Based on the models for runtime, node power, CPU power, and memory power, we identify the most significant performance counters for potential optimization efforts associated with the application characteristics and the target architectures, and we predict theoretical outcomes of the potential optimizations. When we compare the prediction accuracy using MuMMI with that using 10 machine learning methods, we observe that MuMMI not only results in more accurate prediction in both performance and power but also presents how performance counters impact the performance and power models. This provides some insights about how to fine-tune the applications and/or systems for energy efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Machine Learning Approach for Employee Retention Prediction
Earthquake magnitude prediction in Hindukush region using machine learning techniques
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
LazyAgent: 수요 기반 구체화 및 에이전트 프로그램의 물리적 최적화
LazyAgent: Demand-Driven Materialization and Physical Optimization of Agentic Programs
행동에 앞서 계획을 세우는 에이전트 런타임은 각 단계가 준비되는 즉시 실행한다. 이러한 런타임도 그 벤치마크도 준비된 단계와 요청이 필요로 하는 단계를 구별하지 않으며, 그 차이는 크다. 154개의 프로덕션 워크플로에 대한 303개 요청에서, 목표가 달성되면 멈추는 즉시 실행(eager) 런타임은 CPU의 62.2%를 요청이 전혀 필요로 하지 않은 작업에 소비한다. LazyAgent는 우리가 아는 한 에이전트 런타임을 위한 수요 기반 실행의 최초의 완전한 정식화이다. 그 규칙은 준비된 단계를 현재 요청이 필요로 할 때만 실행하고, 계획이 바뀌어도 그 답을 정확하게 유지하는 것이다. 프로그램에서 도출된 수요 집합이 모델 호출 없이 한 번의 순회로 이를 결정하므로, LazyAgent는 요청 밖에서는 아무것도 소비하지 않는다. 수요가 정확하게 정의되기 때문에 그 동작이 증명되며, 빌더는 어떤 실행 이전에도 수요가 어디에서 절감해야 하고 어디에서 동률이어야 하는지 알 수 있다. 계획이 실행되기 전에 비용이 알려지므로, LazyAgent는 쿼리 옵티마이저로서 후보 워크플로 중에서 선택할 수 있다. 해당 즉시 실행 런타임과 비교한 실측에서, LazyAgent는 최첨단 LLM이 패치를 작성하는 릴리스 게이트에서 컨테이너 시간을 51.7%와 52.1% 절감하고, 동일한 품질의 DataSciBench 계획에서 토큰을 12.8%, 실제 LangGraph 애플리케이션에서 비용을 24.0% 절감하며, 손실은 없다. LLM이 실제 코드 실패 후 재계획할 때는 해결 가능한 모든 목표를 목표당 토큰 11.7% 적게 사용하여 해결한다. 프로덕션 워크플로에서는 CPU를 42.0% 절감하고, 요청이 전체 그래프를 필요로 하는 경우에는 정확히 동률이며, 오버헤드는 최대 0.43%이다. 동일한 집합이 모든 물리적 연산을 조정하는데, 프로젝션은 공유 CI 단계의 80-89%를 절감하는 반면 동일한 즉시 실행 대조군은 0.0%를 절감한다. 공개 에이전트 벤치마크는 즉시 실행 런타임과 같은 방식으로 설계되어 있어 이 차이를 보여줄 수 없다. 우리는 이들의 과제로 테스트 프로그램을 구성하였으며, 업계에 에이전트 워크플로가 얼마나 효율적으로 실행되는지를 측정하는 벤치마크를 구축할 것을 촉구한다.
CPU-Auth: DVFS 부채널을 통한 인증용 기기 핑거프린팅
CPU-Auth: Device Fingerprinting for Authentication via DVFS Side-Channel
효과적인 인증의 부재는 보호된 정보에 대한 무단 접근, 신원 도용, 사기 등 수많은 보안 및 개인정보 침해 사고로 이어졌습니다. 이러한 공격을 완화하는 한 가지 접근 방식은 사용자가 인증을 위해 여러 정보를 제공해야 하는 다중 요소 인증(MFA)입니다. 보조 인증 요소로는 SMS 문자 인증 코드, 생체 인식, 토큰 등이 있습니다. 이들은 각각 적어도 하나의 뚜렷한 결함을 가지고 있습니다. SMS는 보안이 매우 취약한 것으로 악명 높고, 생체 인식은 민감한 개인정보에 대한 접근에 의존하며, 토큰은 제3자 제공업체(예: OAuth 제공업체)에 의존해야 합니다. 본 연구에서는 컴퓨팅 기기 CPU의 물리적 특성에서 나타나는 고유한 편차에 기반한 새로운 인증 메커니즘인 CPU-Auth를 탐구합니다. 브라우저 내에서 동적 전압 및 주파수 스케일링(DVFS) 거버너의 동작을 원격으로 측정함으로써, CPU의 고유한 특성을 활용하여 CPU-Auth에 사용될 하드웨어 기반 기기 핑거프린트를 구축할 수 있습니다. CPU-Auth의 성능은 거리 기반 기법과 심층 학습 기법을 사용하여 50,000개 이상의 데이터 트레이스에서 평가됩니다. CPU-Auth는 더 큰 연구 프로젝트의 일환이며, 본 보고서에 제시된 결과는 해당 프로젝트에 본 연구 그룹의 구성원들이 기여한 내용만을 반영합니다.
ECGLight: 종이 심전도 디지털화 및 심근경색 선별을 위한 경량 연산 프레임워크
ECGLight: Compute-Light Framework For Paper ECG Digitization and Myocardial Infarction Screening
심전도(ECG)는 심혈관 질환을 진단하는 데 가장 널리 사용되는 검사 중 하나이다. 그러나 많은 외곽 지역 진료소에서는 제한된 네트워크 연결성과 연산 능력으로 인해 여전히 분석에 종이 심전도 출력물을 활용하고 있다. 그 결과 외곽 지역에서 획득한 방대한 양의 물리적 심전도는 높은 연산 자원이나 안정적인 초고속 인터넷 연결을 요구하는 최신 인공지능(AI) 기반 의사결정 지원의 혜택을 받지 못하고 있다. 이는 급성 관상동맥 폐색(ACS)과 같은 질환을 간과하고 재관류 치료를 지연시키는 여러 사례를 초래한다. 선행 연구들이 디지털화와 진단을 분리하여 다루고 이를 위해 고도화된 AI 모델을 활용해 왔지만, 높은 충실도로 종이 심전도를 복원하면서 임상적으로 유의미한 여러 평가지표를 정확하게 지원하는 온디바이스(on-device) 경량 연산 프레임워크는 여전히 부족하다. 본 연구에서는 종이 심전도의 스마트폰 사진이나 스캔본을 보정된 12유도 신호로 변환하고 심근경색(MI) 병변을 선별하며, 해석 가능성을 지원하기 위해 SHapley Additive exPlanations(SHAP)을 결합한 엔드투엔드 경량 온디바이스 디지털화-진단 파이프라인을 통해 이러한 문제를 해결한다. PTB-XL 데이터셋의 21,799개 심전도로 학습(training) 및 평가(evaluation)하고 병원에서 수집한 ECG-Matrix 데이터셋에서 추가 검증을 거친 이 전체 시스템은 CPU 전용 자원에서 심전도당 30초 미만으로 구동되며, PTB-XL에서 심근경색 탐지 정확도 95.51%(F1 = 0.9519), ECG-Matrix에서 폐색성 심근경색(OMI) 탐지 정확도 88.89%(F1 = 0.8862)를 달성한다. 본 연구는 디지털 심전도 추출, 네트워크 연결, 고성능 연산 자원을 사용할 수 없는 환경에서도 레거시 종이 기록을 전 세계 어디서나 안정적으로 보급하여 확장 가능한 의사결정 지원을 제공할 수 있음을 보여준다. Github: https://github.com/nshreyasvi/ECGLight
토론
이 논문과 연결된 포럼 글이 아직 없습니다.