arXiv:2611.21914v1 cs.LG

지연된 레이블과 분포 변화 하에서의 데이터 스트림 평가를 위한 시간적 대수 프레임워크

A Temporal Algebraic Framework for Data Stream Evaluation Under Delayed Labels and Distribution Shifts

Ronaldo C. Prati, Elaine Ribeiro de Faria

제출 2026-11-18

한국어 초록

데이터 스트림에서는 레이블이 늦게 도착하거나 일부 인스턴스에만 도착하고, 클래스 유병률이 드리프트하며, 희귀 클래스는 짧은 윈도에서 사라지곤 한다. 이때 표준 평가는 결정 경계의 저하와 유병률의 변화를 혼동하며, 레이블이 지연되거나 모델에 의해 선택될 때 편향된다. 우리는 하나의 혼동 행렬로부터 풀링(마이크로) 및 클래스별(매크로) 측정값을 얻는 대수적 프레임워크를 스트림으로 확장하여, 지수적 감쇠 또는 슬라이딩 윈도로 카운트에 시간 가중을 부여한다. 갱신 비용은 스트림 길이와 무관하게 단계당 O(m^2)이며, 각 풀링 측정값은 클래스별 측정값의 가중 결합으로 유지된다. 지연된 피드백과 선택적 피드백은 관측 마스크로 들어간다. 레이블이 도착하기 전까지 인스턴스는 모델의 보정된 클래스 확률로 집계되며, 이 임시 추정의 편향은 그 확률의 보정 오차에 의해 좌우된다. 감사된 관례에서는 검증된 인스턴스가 없는 클래스에 대해 어떤 값도 보고하지 않는다. 우리는 사전확률에 무관한 좌표(재현율과 특이도)를 모니터링하여 사전 변화와 개념 드리프트를 분리하고, 1차 야코비안 분해로 측정값의 변화를 두 원인에 귀속시킨다. 합성 스트림과 네 개의 실제 데이터셋에서, 클래스별 메모리를 갖춘 이 좌표 기반 검출기는 야코비안 경보 및 오류율 검출기와 달리 레이블 변화 하에서 과도한 오경보를 일으키지 않는다. 지연된 레이블에 대한 보정은 일부 실제 설정에서 재현율을 회복하지만, 정밀도, 특이도, F1에 대해서는 부분적일 뿐이다. 25개의 명제가 Lean 4에서 검증되었으며, 코드는 aggmetrics 패키지에 있다.

원문 초록

In data streams, labels often arrive late or only for some instances, class prevalence drifts, and rare classes vanish from short windows. Standard evaluation then confuses a degraded decision boundary with a change in prevalence, and is biased when labels are delayed or selected by the model. We extend an algebraic framework that obtains pooled (micro) and per-class (macro) measures from one confusion matrix to streams, weighting the counts in time by exponential fading or a sliding window; the update costs O(m^2) per step, whatever the stream length, and each pooled measure stays a weighted combination of the per-class ones. Delayed and selective feedback enter as an observation mask: until its label arrives, an instance is counted with the model's calibrated class probabilities, and the bias of this interim estimate is driven by their calibration error. Audited conventions report no value for a class without verified instances. We separate prior shift from concept drift by monitoring prior-free coordinates (recall and specificity) and attribute a change in a measure to the two sources with a first-order Jacobian decomposition. On synthetic streams and four real datasets, a detector on these coordinates with a memory per class raises no excess false alarms under label shift, unlike the Jacobian alarm and error-rate detectors. The correction for delayed labels recovers recall in some real settings and is only partial for precision, specificity and F1. Twenty-five statements are checked in Lean 4, and the code is in the aggmetrics package.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21914v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.