PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.23986v4math.OC

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

Large language model providers are compute constrained, and a common response to congestion is to degrade service: route queries to smaller models, cut reasoning budgets, or shorten context windows. A user who receives an unsatisfactory answer either retries, adding load while the system is busy, or abandons, possibly as churn. We model inference serving as a control problem in which service quality is the provider's decision. A two-regime fluid approximation with retries folded into the service rate gives closed-form trajectories and crossing times, so the dynamic program over quality tiers needs no simulation. We characterize a region in which a weaker tier uses less energy per task but more capacity per task, and show that in the fluid model reactive throttling to such a tier can keep the queue from draining. With heterogeneous customers the problem is a transportation problem with retry-inflated capacity coefficients; optimal routing follows a $c\mu$-type index, and the dual of the capacity constraint gives the marginal cost of one more query by class and time. We illustrate the method on five instances calibrated to public benchmark data.

arXiv:2607.03651v3cs.LG

텍스트 비즈니스 입력을 활용한 LLM 기반 교통 허브 용량 계획

LLM-Guided Transportation Hub Capacity Planning with Textual Business Inputs

자연어 비즈니스 맥락을 정량적 최적화 모델에 통합하기 어렵다는 문제를 해결하기 위해, 대규모 언어 모델(LLM) 에이전트가 사고의 연쇄(Chain-of-Thought) 추론으로 구조화된 의사결정 테이블을 구성하고 최적화 모델의 경로 피드백과 반복적으로 상호작용하는 프레임워크를 제안한다. 미국 남동부의 실제 13개 허브 화물 네트워크에서 기존 최적화 모델의 11.0% 최적성 갭을 2.8%로 크게 줄이며 LLM이 정성적 비즈니스 인사이트를 운영 연구(Operations Research) 워크플로우에 효과적으로 통합할 수 있음을 실증하였다.

arXiv:2606.22013v1cs.LG

대규모 머신러닝 모델 서빙 시스템을 위한 부하 테스트

Load Testing for Machine Learning Model Serving Systems at Scale

머신러닝(ML) 모델 서빙은 GPU 인프라의 주요 소비원이 되었지만, 이러한 시스템의 용량 계획은 여전히 대부분 비체계적으로 이루어지고 있다. 과소 프로비저닝은 서비스 수준 목표(SLO) 위반과 프로덕션 인시던트를 초래하는 반면, 과잉 프로비저닝은 상당한 자원 낭비를 야기한다. 본 논문은 적응형 피드백 기반 탐색 전략을 통해 서빙 용량을 체계적으로 추정하는 ML 모델 서빙 시스템용 산업 부하 테스트 프레임워크 \sys를 제안한다. 이 접근법은 실시간 성능 신호를 활용하며, 감쇠(dampening), 스파이크 허용(spike tolerance), 수렴 감지(convergence detection)를 통합하여 SLO 제약 하에서 최대 지속 처리량을 효율적으로 식별한다. 추천, 랭킹, 비전, NLP의 네 가지 ML 아키텍처 클래스에 걸친 14개의 산업 사례 연구에 대한 종단 분석을 통해 \sys를 평가한다. 본 연구는 체계적인 부하 테스트가 GPU 자원 효율성과 운영 신뢰성을 크게 향상시킴을 보여준다. \sys 도입 이전에는 상당 비율의 모델 출시가 과소 프로비저닝 상태였으며 반복적인 인시던트가 발생하였는데, 이러한 문제는 배포 후 실질적으로 감소하였다. 실험 결과, ML에 특화된 설계 결정이 정확한 용량 추정에 매우 중요함을 확인하였다. 기록된 트래픽을 활용한 워크로드 보정은 추정 오차를 약 30%에서 2~6%로 줄이며, 적절한 웜업 처리는 정확도를 22.2% 향상시킨다. 추가 분석을 통해 모델 크기 및 공동 배치(co-location) 효과를 포함하여 예측 오차에 영향을 미치는 핵심 요인을 밝힌다. 본 논문은 여섯 가지 교훈을 도출하고 ML 부하 테스트를 위한 아키텍처 지침을 제시함으로써 신뢰할 수 있고 효율적인 ML 모델 서빙 시스템 구축을 위한 실용적인 인사이트를 제공한다.

arXiv:2606.21130v1cs.AI

하이퍼스케일 데이터 센터에서 AI 워크로드 급증 시 용량 스트레스에 대한 버스트 인식 조기 경보 모델 학습

Learning Burst-Aware Early Warning Models for Capacity Stress under AI Workload Surges in Hyperscale Data Centers

대규모 AI 워크로드, 특히 대규모 언어 모델(LLM) 학습과 추론의 급속한 성장은 하이퍼스케일 데이터 센터의 운영 역학을 근본적으로 재편하고 있습니다. 전통적인 클라우드 워크로드와 달리, AI 기반 작업은 버스트성, 고강도, 급격히 변화하는 리소스 수요를 보이며, 이는 종종 사후 대응형 임계값 기반 메커니즘으로는 효과적으로 대처할 수 없는 갑작스러운 용량 스트레스를 초래합니다. 본 논문에서는 AI 워크로드 급증 하에서 선제적 용량 스트레스 예측을 위한 배포 지향적, 버스트 인식 조기 경보 프레임워크를 제안합니다. 우리는 이 문제를 다변량 원격 측정(telemetry) 윈도우에 대한 고재현율(high-recall) 예측 과제로 공식화하며, 시스템 성능 저하가 발생하기 전에 운영 개입을 가능하게 하는 것을 명시적 목표로 합니다. 제안된 프레임워크는 워크로드 강도, 시간적 변화, 시스템 압력 신호를 통합하고, 고도로 불균형한 환경에서 비선형 상호작용을 포착하기 위해 경량 트리 기반 학습 모델을 사용합니다. 현실적인 조건에서 시스템을 평가하기 위해, 대규모 AI 시스템에서 관측되는 버스트 주도 수요 패턴을 시뮬레이션하는 AI 워크로드 급증 주입 방법론을 도입합니다. XGBoost 기반 모델은 ROC AUC 0.697과 AP 0.670을 달성하여 기준선 방법을 크게 능가합니다. 배포 지향적 임계값 선택 하에서, 이 프레임워크는 재현율 0.914를 달성하여 허용 가능한 오경보 비용으로 스트레스 취약 기간의 대부분을 탐지할 수 있게 합니다. 예측 성능을 넘어, 제안된 프레임워크가 운영 제어 루프에 통합되어 워크로드 스로틀링(workload throttling) 및 리소스 스케일링과 같은 선제적 조치를 지원하는 방식을 보여줍니다. 우리의 결과는 AI 기반 워크로드 시대에 회복력 있고 적응적인 데이터 센터 운영을 가능하게 하는 고재현율, 학습 기반 조기 경보 시스템의 실용적 가치를 강조합니다.