한계 모니터링을 넘어서: 대규모 이커머스 운영에서의 데이터 개념 드리프트를 위한 분산 결합분포 검정
Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations
개념 드리프트(concept drift)는 프로덕션 머신러닝을 위협하지만, 대규모 환경에서 다변량 이표본(two-sample) 드리프트 검출기의 실증적 거동은 아직 충분히 규명되지 않았다. 기존 벤치마크는 산업 운영 데이터셋에서 흔히 나타나는 수억 개의 행과 높은 카디널리티(high-cardinality)의 특징(feature)을 거의 다루지 않는다. 우리는 다섯 가지 다중 컬럼 이표본 검정(한계 기반, 프로젝션 기반, 커널 임베딩 방법)을 세 가지 상호보완적 환경—Harvard Dataverse, 검증된 Failing Loudly 재현(평균 절대 오차 0.030~0.053), 그리고 1억 3,750만 행 규모의 Trendyol 수집-랭킹 특징 테이블에 대한 새로운 합성 주입(synthetic-injection) 벤치마크—에서 평가한다. 두 가지 심각도-범위(severity-scope) 체제에서 네 가지 드리프트 유형을 테스트한 결과, Apache Spark 상에서 무작위 푸리에 특징(Random Fourier Features)을 적용한 분산 최대 평균 불일치(Maximum Mean Discrepancy, MMD)가 안정적으로 확장됨을 보인다. 강한(strong) 체제에서 네 가지 드리프트 유형에 대해 평균을 내고 보정된 임계값(threshold) 하에서, 이 방법은 예상 드리프트 크기와 피어슨 상관계수 r = 0.940, 참 양성률(true positive rate) 80.4%, 거짓 양성률(false positive rate) 3.2%를 달성한다. 반면, 차원별(per-dimension) 콜모고로프-스미르노프(Kolmogorov-Smirnov) 검정은 비대칭 샘플링 하에서 ID와 유사한 컬럼으로 인한 통계량 포화(saturation)로 인해 실패했으며, 이는 대규모 샘플링 설계에서의 중요한 제약 조건을 보여준다. 약한(weak) 설정(실제 플립 비율 최대 0.57%)에서는 검출기들이 신뢰성 있게 구별하는 데 어려움을 겪었으며, 이는 근본적인 민감도 한계와 확장 가능한 임계값 변화를 구분하기 위한 향후 강도-격자(intensity-grid) 검정력 분석의 필요성을 보여준다.