arXiv:2510.26185v2 cs.LG

SGD 기반 leave-one-out 영향도의 에폭 간 편향: 분석과 누적 보정

Cross-Epoch Bias in SGD-based Leave-One-Out Influence: Analysis and Accumulative Correction

Yunxiao Shi, Shuo Yang, Yixin Su, Rui Zhang, Min Xu

제출 2026-11-18

한국어 초록

학습 데이터 영향도 추정은 개별 샘플을 제거했을 때의 효과를 예측함으로써 데이터 선택과 정제를 지원한다. 표준적인 다중 에폭 SGD-Influence Estimator(SGD-IE)는 기록된 궤적을 따라 한 샘플이 반복적으로 등장할 때의 기여를 합산한다. 이를 유한 삭제의 근사에 사용하면 상호작용 하나가 누락되는데, 이후의 제거가 이전 제거로 누적된 파라미터 변위에 작용한다는 점이다. 본 논문은 이전 제거가 같은 샘플을 다시 제거하는 효과를 어떻게 바꾸는지 반영하기 위해 Accumulative SGD-Influence Estimator(ACC-SGD-IE)를 도입한다. 이 추정기는 이후 등장 시점에서의 해당 샘플의 헤시안을 사용하여 추정된 파라미터 변화를 보정한다. 비볼록 분석 결과, 이 보정은 유한 구간 오차 한계에서 SGD-IE의 추가적인 상호작용 기여를 제거한다. 즉, 누락된 상호작용은 누적된 파라미터 변화에 선형인 국소 오차를 만들며, 나머지 테일러 나머지항은 립시츠 헤시안 가정하에서 이차로 유계이다. 이 한계는 학습이 잔여 오차를 어떻게 전파하는지를 특징짓는다. 깨끗한 데이터와 잡음이 있는 정형, 텍스트, 비전 데이터셋에 걸친 비볼록 실험에서 ACC-SGD-IE는 SGD-IE 대비 검증 손실 변화 RMSE를 평균 10.8% 줄이고 Jaccard@10%를 평균 15.2% 향상시킨다. 이러한 이득은 평가된 제거 예산에서 MNIST와 CIFAR10의 데이터 정제 후 더 낮은 테스트 오분류율로도 이어진다. 잡음이 있는 산업 데이터셋에서는 평균 상대 감소율 53.4%로 파라미터 RMS 오차 총합을 줄인다. 또한 계산상의 상충 관계를 논의하고, 강볼록 목적함수에 대한 보완적인 이론 분석과 실험 평가를 제공하며, 누적 보정 메커니즘을 다른 영향도 추정기로 확장할 가능성을 탐구한다.

원문 초록

Training-data influence estimates support data selection and cleansing by predicting the effects of removing individual examples. The standard multi-epoch SGD-Influence Estimator (SGD-IE) aggregates contributions from a sample's repeated appearances along the recorded trajectory. When used to approximate finite deletion, it omits an interaction: later removals act on the parameter displacement accumulated from earlier removals. We introduce the Accumulative SGD-Influence Estimator (ACC-SGD-IE) to account for how earlier removals change the effect of removing the same sample again. It uses the sample's Hessian at subsequent appearances to correct the estimated parameter change. Our non-convex analysis shows that this correction removes SGD-IE's additional interaction contribution from the finite-horizon error bound: the omitted interaction produces a local error linear in the accumulated parameter change, while the remaining Taylor remainder is bounded quadratically under Lipschitz-Hessian assumptions. The bounds characterize how training propagates the remaining error. In non-convex experiments across clean and noisy tabular, text, and vision datasets, ACC-SGD-IE reduces validation-loss-change RMSE by 10.8% and improves Jaccard@10% by 15.2% on average relative to SGD-IE. These gains also translate into lower test misclassification rates after data cleansing on MNIST and CIFAR10 at the evaluated removal budgets. On noisy industrial datasets, it reduces aggregate parameter RMS error with a mean relative reduction of 53.4%. We further discuss computational tradeoffs, provide complementary theoretical analysis and experimental evaluation for strongly convex objectives, and explore potential extensions of the accumulative correction mechanism to other influence estimators.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.26185v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.