한계 모니터링을 넘어서: 대규모 이커머스 운영에서의 데이터 개념 드리프트를 위한 분산 결합분포 검정
Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations
한국어 초록
개념 드리프트(concept drift)는 프로덕션 머신러닝을 위협하지만, 대규모 환경에서 다변량 이표본(two-sample) 드리프트 검출기의 실증적 거동은 아직 충분히 규명되지 않았다. 기존 벤치마크는 산업 운영 데이터셋에서 흔히 나타나는 수억 개의 행과 높은 카디널리티(high-cardinality)의 특징(feature)을 거의 다루지 않는다. 우리는 다섯 가지 다중 컬럼 이표본 검정(한계 기반, 프로젝션 기반, 커널 임베딩 방법)을 세 가지 상호보완적 환경—Harvard Dataverse, 검증된 Failing Loudly 재현(평균 절대 오차 0.030~0.053), 그리고 1억 3,750만 행 규모의 Trendyol 수집-랭킹 특징 테이블에 대한 새로운 합성 주입(synthetic-injection) 벤치마크—에서 평가한다. 두 가지 심각도-범위(severity-scope) 체제에서 네 가지 드리프트 유형을 테스트한 결과, Apache Spark 상에서 무작위 푸리에 특징(Random Fourier Features)을 적용한 분산 최대 평균 불일치(Maximum Mean Discrepancy, MMD)가 안정적으로 확장됨을 보인다. 강한(strong) 체제에서 네 가지 드리프트 유형에 대해 평균을 내고 보정된 임계값(threshold) 하에서, 이 방법은 예상 드리프트 크기와 피어슨 상관계수 r = 0.940, 참 양성률(true positive rate) 80.4%, 거짓 양성률(false positive rate) 3.2%를 달성한다. 반면, 차원별(per-dimension) 콜모고로프-스미르노프(Kolmogorov-Smirnov) 검정은 비대칭 샘플링 하에서 ID와 유사한 컬럼으로 인한 통계량 포화(saturation)로 인해 실패했으며, 이는 대규모 샘플링 설계에서의 중요한 제약 조건을 보여준다. 약한(weak) 설정(실제 플립 비율 최대 0.57%)에서는 검출기들이 신뢰성 있게 구별하는 데 어려움을 겪었으며, 이는 근본적인 민감도 한계와 확장 가능한 임계값 변화를 구분하기 위한 향후 강도-격자(intensity-grid) 검정력 분석의 필요성을 보여준다.
원문 초록
Concept drift threatens production machine learning, yet the empirical behavior of multivariate two-sample drift detectors at scale remains under-characterized. Existing benchmarks rarely address the hundreds of millions of rows and high-cardinality features typical of industrial-operational datasets. We evaluate five multi-column two-sample tests (marginal, projection-based, and kernel embedding methods) across three complementary environments: the Harvard Dataverse, a validated Failing Loudly reproduction (mean absolute error between 0.030 and 0.053), and a novel synthetic-injection benchmark on the 137.5-million-row Trendyol collection-ranking feature table. Testing four drift types across two severity-scope regimes, we demonstrate that distributed Maximum Mean Discrepancy with Random Fourier Features on Apache Spark scales robustly. Averaged over the four drift types in the strong regime and under a calibrated threshold, it achieves a Pearson correlation of r = 0.940 with expected drift magnitude, an 80.4% true positive rate, and a 3.2% false positive rate. Conversely, the per-dimension Kolmogorov-Smirnov test failed due to statistic saturation from ID-like columns under asymmetric sampling, establishing a critical constraint for large-scale sampling design. At weak configurations (realized-flip fractions of at most 0.57%), detectors struggled to reliably discriminate, highlighting the need for future intensity-grid power analyses to distinguish fundamental sensitivity bounds from scalable threshold shifts.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.