대규모 머신러닝 모델 서빙 시스템을 위한 부하 테스트
Load Testing for Machine Learning Model Serving Systems at Scale
머신러닝(ML) 모델 서빙은 GPU 인프라의 주요 소비원이 되었지만, 이러한 시스템의 용량 계획은 여전히 대부분 비체계적으로 이루어지고 있다. 과소 프로비저닝은 서비스 수준 목표(SLO) 위반과 프로덕션 인시던트를 초래하는 반면, 과잉 프로비저닝은 상당한 자원 낭비를 야기한다. 본 논문은 적응형 피드백 기반 탐색 전략을 통해 서빙 용량을 체계적으로 추정하는 ML 모델 서빙 시스템용 산업 부하 테스트 프레임워크 \sys를 제안한다. 이 접근법은 실시간 성능 신호를 활용하며, 감쇠(dampening), 스파이크 허용(spike tolerance), 수렴 감지(convergence detection)를 통합하여 SLO 제약 하에서 최대 지속 처리량을 효율적으로 식별한다. 추천, 랭킹, 비전, NLP의 네 가지 ML 아키텍처 클래스에 걸친 14개의 산업 사례 연구에 대한 종단 분석을 통해 \sys를 평가한다. 본 연구는 체계적인 부하 테스트가 GPU 자원 효율성과 운영 신뢰성을 크게 향상시킴을 보여준다. \sys 도입 이전에는 상당 비율의 모델 출시가 과소 프로비저닝 상태였으며 반복적인 인시던트가 발생하였는데, 이러한 문제는 배포 후 실질적으로 감소하였다. 실험 결과, ML에 특화된 설계 결정이 정확한 용량 추정에 매우 중요함을 확인하였다. 기록된 트래픽을 활용한 워크로드 보정은 추정 오차를 약 30%에서 2~6%로 줄이며, 적절한 웜업 처리는 정확도를 22.2% 향상시킨다. 추가 분석을 통해 모델 크기 및 공동 배치(co-location) 효과를 포함하여 예측 오차에 영향을 미치는 핵심 요인을 밝힌다. 본 논문은 여섯 가지 교훈을 도출하고 ML 부하 테스트를 위한 아키텍처 지침을 제시함으로써 신뢰할 수 있고 효율적인 ML 모델 서빙 시스템 구축을 위한 실용적인 인사이트를 제공한다.