모든 오라벨이 같지는 않다: 신뢰 시퀀스를 이용한 효율적인 과제 인식 감사
Not All Mislabels Are Equal: Efficient Task-Aware Auditing with Confidence Sequences
한국어 초록
본 연구는 고정된 데이터셋에서 범주형 레이블을 효율적이고 적응적으로 감사하는 문제를 다룬다. 이는 종 기록에 대한 전문가 검증 비용이 크고, 하위 점수(예: 지급액)가 특정 레이블의 오류에 더 민감한 생물다양성 크레딧 프로그램에서 동기를 얻었다. 제안하는 ATLAS 프레임워크는 언제든 유효한(anytime-valid) 추론과 과제 인식 적응형 감사 정책을 결합한다. 레이블 수정을 혼동 행렬로 표현하고, 레이블 불확실성과 잠재적 레이블 수정이 하위 점수 함수에 미치는 영향을 모두 고려하여 다음에 검사할 데이터 포인트의 우선순위를 정한다. 케냐 생물다양성 데이터에 대한 주요 사례 연구에서 과제 인식 감사는 언제든 유효한 보장을 유지하면서 오라벨 비율과 비선형 생물다양성 점수를 추정하는 데 필요한 전문가 검토를 줄인다. 또한 이미지 분류와 개체명 인식의 공개 데이터셋에서도 ATLAS를 평가한다. 선형 및 비선형 점수를 사용한 실험 전반에서 ATLAS는 대체로 경쟁하는 언제든 유효한 방법과 동일한 정밀도를 훨씬 적은 감사로 달성한다. 분포 무관 보장의 비용이 지나치게 큰 경우에는 모델링 가정에 의존하여 감사 횟수를 더 줄일 수 있는 모델 기반 베이지안 대안을 개발한다. 생물다양성 사례 연구는 통계적 타당성과 실제적 실현 가능성 사이의 간극을 보여준다. Serfling 경계와 기존 신뢰 시퀀스 절차 같은 일반적 방법은 엄밀하지만 실제로는 지나치게 많은 전문가 검토를 요구할 수 있다. 종합하면 이러한 결과는 과제 인식 감사가 유한 표본에서 언제든 유효한 보장을 제공하면서 필요한 전문가 감사 횟수를 크게 줄일 수 있음을 보여준다.
원문 초록
We study efficient, adaptive auditing of categorical labels in a fixed dataset, motivated by biodiversity credit programs in which expert verification of species records is costly and downstream scores (e.g., payment) are more sensitive to errors on certain labels than on others. Our proposed ATLAS framework couples anytime-valid inference with a task-aware adaptive auditing policy. Representing label corrections through a confusion matrix, we prioritize which data points to inspect next based on both label uncertainty and the influence of potential label corrections on the downstream score function. In our main case study on Kenyan biodiversity data, task-aware auditing reduces the expert review needed to estimate both the mislabel rate and the nonlinear biodiversity score while maintaining anytime-valid guarantees. We also evaluate ATLAS on public datasets for image classification and named-entity recognition. Across our experiments with linear and nonlinear scores, ATLAS generally reaches the same precision as competing anytime-valid methods with substantially fewer audits. When distribution-free guarantees are prohibitively costly, we develop a model-based Bayesian alternative that can further reduce the number of audits by relying on modeling assumptions. Our biodiversity case study highlights a gap between statistical validity and practical feasibility: generic methods such as Serfling's bound and existing confidence-sequence procedures are rigorous but can require prohibitively many expert reviews in practice. Together, these results show task-aware auditing can significantly reduce the number of expert audits needed while providing finite-sample, anytime-valid guarantees
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.33262v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.