arXiv:2611.19451v1 cs.LG

학습 데이터 기여도 분석의 효율적이고 정확한 인과 검증

Efficient and Accurate Causal Validation of Training Data Attribution

Simon Vary, Alireza Mousavi-Hosseini, Roger Grosse

제출 2026-11-17

한국어 초록

학습 데이터 기여도(TDA) 방법을 인과적으로 검증하려면 원래 학습 세트의 서로 다른 부분집합 다수에서 모델을 다시 학습해야 하므로 비용이 크다. 예를 들어 TDA 평가의 표준 지표가 된 선형 데이터 모델링 점수(LDS)는 TDA 예측과 다시 학습한 모델의 기대 출력 사이의 상관을 측정한다. 본 논문은 세 가지 축에서 LDS 추정에 드는 연산량을 줄인다. 표본으로 뽑는 학습 부분집합 수, 부분집합당 재학습 시드 수, 기여도 앙상블의 모델 수다. 각 요인은 LDS 추정에서 서로 다른 편향을 일으킨다. 이런 편향을 없애면 같은 LDS 추정 정확도에 필요한 재학습 횟수가 크게 줄어든다. ResNet-9와 CIFAR-10에서는 유한한 부분집합 수에 따른 편향을 보정해, 부분집합 $4$개만으로 상대 RMSE $3.2\%$를 달성했다. 부분집합 300개의 참조 결과를 기준으로 보면, 부분집합 $32$개를 사용한 방식은 부분집합 $96$개에 일반 스피어먼 상관을 적용한 방식과 같은 정확도를 냈다. ResNet-9/CIFAR-10, BERT/QNLI, GPT-2/WikiText-2에서는 학습 잡음의 분산을 추정함으로써, 표준 시드 다섯 개의 LDS를 같은 정확도로 재현하는 데 필요한 재학습 횟수를 $2$~$5\times$ 줄였다.

원문 초록

Causal validation of training data attribution (TDA) methods is costly, since evaluation involves retraining a model on many different subsets of the original training set. For example, the Linear Datamodeling Score (LDS), which has become a standard metric for evaluating TDA methods, measures the correlation between TDA predictions and expected retrained model outputs. In this paper, we reduce the amount of computation needed to estimate the LDS along three axes: the number of sampled training subsets, the number of retraining seeds per subset, and the number of models in the attribution ensemble. Each of these factors induces a form of bias in the LDS estimation, and removing these sources of bias significantly reduces the number of retrainings needed to match the same accuracy in LDS estimation. On ResNet-9/CIFAR-10, finite-subset debiasing achieves $3.2\%$ relative RMSE with as few as $4$ subsets, and $32$ subsets match the accuracy of ordinary Spearman using $96$ subsets, measured against a 300-subset reference. On ResNet-9/CIFAR-10, BERT/QNLI and GPT-2/WikiText-2, estimating the training-noise variance allows us to reproduce the standard five-seed LDS at the same accuracy with $2$--$5\times$ fewer retrainings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19451v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.