arXiv:1902.09566

Anomaly Detection for an E-commerce Pricing System

Jagdish Ramakrishnan, Elham Shaabani, Chao Li, Mátyás A. Sustik

제출 2019-02-25

원문 초록

Online retailers execute a very large number of price updates when compared to brick-and-mortar stores. Even a few mis-priced items can have a significant business impact and result in a loss of customer trust. Early detection of anomalies in an automated real-time fashion is an important part of such a pricing system. In this paper, we describe unsupervised and supervised anomaly detection approaches we developed and deployed for a large-scale online pricing system at Walmart. Our system detects anomalies both in batch and real-time streaming settings, and the items flagged are reviewed and actioned based on priority and business impact. We found that having the right architecture design was critical to facilitate model performance at scale, and business impact and speed were important factors influencing model selection, parameter choice, and prioritization in a production environment for a large-scale system. We conducted analyses on the performance of various approaches on a test set using real-world retail data and fully deployed our approach into production. We found that our approach was able to detect the most important anomalies with high precision.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27362v1cs.LG공통 태그 Anomaly Detection, Model Selection

AUC 상한을 이용한 이상 데이터 없는 자기 최적화

Anomaly-Free Self-Optimization via AUC Bounds

이상(anomaly)은 드물며, 개발 단계에서는 이상 데이터를 구하기 어려워 어떤 이상 탐지 모델과 설정이 보지 못한 이상에 일반화될지 판단하기 어렵다. 최근 접근법은 이 문제를 의사 이상(pseudo-anomaly)을 생성하고 ROC 곡선 아래 면적(area under the ROC curve, AUC)의 달성 가능 상한(bound)을 이용해 유한한 후보 집합에서 최적 설정을 고르는 방식으로 다룬다. 이와 달리 우리는 AUC 상한을 미분 가능한, 이상 데이터에 의존하지 않는(anomaly-free) 목적 함수로 사용하여 이상 탐지 시스템의 연속 매개변수를 직접 최적화한다. 이 프레임워크를 앙상블 가중치 최적화와 의사 이상 점수에 적응하는 학습 가능한 점수 재조정(score-rescaling) 메커니즘 도입을 통해 보이며, 사전 정의된 후보 집합을 넘어서는 최적화를 가능하게 한다. 여러 데이터셋과 임베딩 모델에 걸친 실험에서 AUC 상한 최적화는 기존 모델 선택 및 개발 집합 기반 매개변수 선택 방식보다 유의미한 성능 향상을 달성한다. 결과는 또한 직접 최적화가 의사 이상 구성 선택에 덜 민감함을 보여준다.

arXiv:2607.13048v1cs.LG공통 태그 Anomaly Detection, Model Selection

스트리밍 시스템에서 이벤트 트리거 LLM 호출을 위한 불확실성 인식 순차 의사결정 규칙

Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems

스트리밍 추론 파이프라인은 점점 더 경량의 빠른 모델과 풍부한 의미 이해를 제공하지만 상당한 비용이 드는 대규모 언어 모델(LLM)을 함께 사용하고 있다. LLM을 언제 호출할지에 대한 핵심 질문은 형식적인 다루어짐이 제한적이었다. 우리는 이를 위험(risk) 기반의 순차적 정지(sequential stopping) 문제로 정식화하며, 관측 이력에 대한 위험 함수(risk functional)가 임계값을 초과할 때 트리거 정책(trigger policy)이 작동한다. 이 프레임워크 내에서 우리는 여섯 가지 결과를 증명한다: 트리거 채터링(trigger chattering)을 배제하는 최소 이벤트 간 시간 하한; smooth pasting을 통한 임계값 정책의 최적성; 추정 파라미터 하에서의 근사 SPRT 보장; 정상(stationary) 스트림에 대한 O(√(T log T)) regret, C_T개 changepoint 하에서는 O(√((C_T + 1) T log T))로 확장; 적응형 임계값에 대한 온라인 경사하강법(online gradient descent)의 O(1/√T) 수렴; 그리고 calibration-to-miss-rate 전이 부등식. 이벤트 트리거, 최적 정지, SPRT, CUSUM, 베이지안 트리거를 포함한 여러 고전적 트리거 패밀리가 이 프레임워크의 특수 사례로 표현될 수 있다. 실제 LLM 호출을 사용한 터보팬 열화 데이터(CMAPSS)에서, 우리는 이론적 가정을 실증적으로 검증하고, 위험 함수 설계에 대한 ablation을 수행하며, RouteLLM 스타일 라우터와 문맥적 밴딧(contextual bandit)을 포함한 6개 baseline과 비교하고, 비용 민감도와 LLM 실패 모드를 분석한다. 결과는 모든 원칙적(principled) 트리거에 대해 alpha < 1인 sublinear regret을 확인하고; 당사 rubric 하에서 1600건 LLM 진단 중 92.9%가 그라운딩 점수(grounding score) >= 0.75에 도달하는 높은 진단 품질; 그리고 Pareto AUC에서 anomaly-score 기반 위험 함수가 대안들보다 대략 한 자릿수(order of magnitude) 우세함을 보인다.

arXiv:2607.13239v1cs.AI공통 태그 Anomaly Detection, Model Selection

교통 관리를 위한 비용 최적 파운데이션 모델 배포 포트폴리오

Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management

파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.