DeMix: 영향 벡터 분석을 통한 혼합 데이터 오류 유형 학습 데이터 디버깅
DeMix: Debugging Training Data with Mixed Data Error Types by Investigating Influence Vectors
고품질 학습 데이터는 머신러닝 모델의 성공에 필수적입니다. 그러나 실제 데이터셋은 종종 레이블 오류, 특징 오류, 가상 상관관계를 포함하여 데이터 준비 파이프라인의 체계적 결함에서 비롯된 혼합 유형의 오류를 포함합니다. 학습 데이터의 효과적인 디버깅은 표적화된 수정을 위해 오류 샘플을 탐지하고 그 구체적인 오류 유형을 식별하는 것이 모두 필요하지만, 기존 데이터 정제 및 귀인 방법은 이 이중 요구 사항을 적절히 해결하지 못합니다. 본 논문에서는 오류 샘플과 그 오류 유형을 동시에 진단하는 새로운 프레임워크인 DeMix를 제안합니다. 우리의 핵심 통찰은 서로 다른 오류 유형이 모델 동작에 서로 다른 패턴을 생성한다는 것입니다. DeMix는 각 학습 샘플이 모든 검증 샘플에 걸쳐 모델 예측에 미치는 영향을 특징으로 하는 영향 벡터를 통해 이러한 오류 특정 패턴을 포착합니다. 우리는 영향 벡터로부터 직접 오류 유형을 예측하도록 분류기를 개발하여 학습 데이터 디버깅을 다중 레이블 분류 문제로 공식화합니다. 또한, 학습된 분류기가 효과적으로 일반화되도록 보장하기 위해 각 오류 유형에 특정한 불변의 근거를 포착하도록 분류기를 안내하는 개입 기반 학습 전략을 도입합니다. 테이블 데이터 예측, 추천 시스템, LLM 정렬에 걸친 11개 작업에 대한 실증적 평가 결과, DeMix는 최첨단 방법론보다 유의미하게 우수하며, 데이터 디버깅 F1 점수에서 22.61% 향상을 달성하고 데이터 수정 후 작업 모델 성능에서 9.32%의 이득을 보였습니다. 코드는 https://github.com/SJTU-DMTai/DeMix에서 확인할 수 있습니다.