Clipper: A Low-Latency Online Prediction Serving System
원문 초록
Machine learning is being deployed in a growing number of applications which demand real-time, accurate, and robust predictions under heavy query load. However, most machine learning frameworks and systems only address model training and not deployment. In this paper, we introduce Clipper, a general-purpose low-latency prediction serving system. Interposing between end-user applications and a wide range of machine learning frameworks, Clipper introduces a modular architecture to simplify model deployment across frameworks and applications. Furthermore, by introducing caching, batching, and adaptive model selection techniques, Clipper reduces prediction latency and improves prediction throughput, accuracy, and robustness without modifying the underlying machine learning frameworks. We evaluate Clipper on four common machine learning benchmark datasets and demonstrate its ability to meet the latency, accuracy, and throughput demands of online serving applications. Finally, we compare Clipper to the TensorFlow Serving system and demonstrate that we are able to achieve comparable throughput and latency while enabling model composition and online learning to improve accuracy and render more robust predictions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거
Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel
예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.
이종 엣지 디바이스에서 빠른 LLM 선별을 위한 전이 가능한 지연 시간 예측
Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices
정확한 지연 시간 예측은 이종 엣지 디바이스에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요하며, 여기서 추론 지연 시간은 모델 아키텍처, 프롬프트 동작, 런타임 백엔드, 하드웨어 활용률, 동적 전압 및 주파수 스케일링(DVFS), 열 변화의 영향을 받는다. 본 논문은 배포 지향 LLM 선택을 위한 런타임 인식 지연 시간 예측 프레임워크를 제안한다. 이 프레임워크는 각 추론 요청을 하드웨어-런타임-모델-프롬프트 구성으로 표현하고, 추론을 prefill 및 decode 단계로 분리하며, 게이트 예측 모델을 통해 정적 기술자(descriptor)와 동적 하드웨어 텔레메트리를 적응적으로 융합한다. Pixel 모바일 디바이스를 사용하여 프레임워크를 평가하고, Jetson Nano, Orange Pi 5 Pro, RTX 3090급 GPU 플랫폼에서 프로파일링 파이프라인을 검증한다. Pixel 8에서 전체 예측기는 정적 전용 기준선 대비 총 지연 시간 R-squared를 0.953에서 0.960으로, decode 지연 시간 R-squared를 0.957에서 0.973으로 개선한다. Pixel 8 Pro에서는 prefill 지연 시간 R-squared를 -1.383에서 0.966으로 개선한다. 디바이스 간 전이의 경우, 보정(calibration)을 통해 Pixel 8 Pro에서 Pixel 8로의 총 지연 시간 R-squared를 -0.974에서 0.940으로, decode 지연 시간 R-squared를 -1.085에서 0.927로 개선한다. 이종 프로파일링은 또한 지연 시간이 디바이스 및 런타임에 크게 의존함을 보여준다: 동일한 SmolLM2 모델 패밀리는 Orange Pi 5 Pro에서 8.42 tokens/s에 도달하지만 RTX 3090급 GPU에서는 64.38 tokens/s에 도달한다. 이러한 결과는 경량 보정을 갖춘 런타임 인식 예측이 프로파일링 비용을 줄이고 이종 엣지 플랫폼 전반에 걸친 지연 시간 인식 LLM 배포를 지원할 수 있음을 보여준다.
A Machine Learning Approach for Employee Retention Prediction
Machine Learning for Dynamic Resource Allocation in Network Function Virtualization
ATM: A distributed, collaborative, scalable system for automated machine learning
Earthquake magnitude prediction in Hindukush region using machine learning techniques
토론
이 논문과 연결된 포럼 글이 아직 없습니다.