고품질 학습 데이터는 머신러닝 모델의 성공에 필수적입니다. 그러나 실제 데이터셋은 종종 레이블 오류, 특징 오류, 가상 상관관계를 포함하여 데이터 준비 파이프라인의 체계적 결함에서 비롯된 혼합 유형의 오류를 포함합니다. 학습 데이터의 효과적인 디버깅은 표적화된 수정을 위해 오류 샘플을 탐지하고 그 구체적인 오류 유형을 식별하는 것이 모두 필요하지만, 기존 데이터 정제 및 귀인 방법은 이 이중 요구 사항을 적절히 해결하지 못합니다. 본 논문에서는 오류 샘플과 그 오류 유형을 동시에 진단하는 새로운 프레임워크인 DeMix를 제안합니다. 우리의 핵심 통찰은 서로 다른 오류 유형이 모델 동작에 서로 다른 패턴을 생성한다는 것입니다. DeMix는 각 학습 샘플이 모든 검증 샘플에 걸쳐 모델 예측에 미치는 영향을 특징으로 하는 영향 벡터를 통해 이러한 오류 특정 패턴을 포착합니다. 우리는 영향 벡터로부터 직접 오류 유형을 예측하도록 분류기를 개발하여 학습 데이터 디버깅을 다중 레이블 분류 문제로 공식화합니다. 또한, 학습된 분류기가 효과적으로 일반화되도록 보장하기 위해 각 오류 유형에 특정한 불변의 근거를 포착하도록 분류기를 안내하는 개입 기반 학습 전략을 도입합니다. 테이블 데이터 예측, 추천 시스템, LLM 정렬에 걸친 11개 작업에 대한 실증적 평가 결과, DeMix는 최첨단 방법론보다 유의미하게 우수하며, 데이터 디버깅 F1 점수에서 22.61% 향상을 달성하고 데이터 수정 후 작업 모델 성능에서 9.32%의 이득을 보였습니다. 코드는 https://github.com/SJTU-DMTai/DeMix에서 확인할 수 있습니다.
심층 신경망(DNN)은 대규모 어노테이션 데이터셋이 주어지면 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보인다. 그러나 실제 응용에서는 라벨이 모호성, 인간 오류, 또는 동적 환경으로 인해 손상되는 경우가 많다. 과매개변수화된 DNN은 학습 중 이러한 노이즈 라벨을 쉽게 암기하여 모델 정확도와 일반화 성능을 저하시킨다. 기존 데이터 정제 및 샘플 선택 전략은 수동으로 지정된 임계값, 노이즈 비율에 대한 사전 지식, 또는 단일 지표(학습 역학 또는 기하 구조)에 의존하는 경우가 많아 복잡한 데이터 체제에서 불안정하다.
본 논문은 강건한 노이즈 라벨 탐지를 위해 국소, 전역, 학습 역학 단서를 통합하는 자기적응형 데이터 정제 프레임워크를 제안한다. 샘플은 모듈형 특징 결합 패러다임을 통해 통합된 저차원 특징 공간으로 매핑된다. 두 가지 구체화를 제공한다: 클래스 적응형 KNN 기반 국소 불일치와 k-means 기반 전역 중심점 거리를 통합한 2D 지표, 그리고 추가로 z-정규화 점수를 포함하는 3D 다중 지표. 단일 스칼라 지표에 적용되는 기존 1차원 가우시안 혼합 모델(GMM)과 달리, 본 프레임워크는 특징 공간에서 다중 지표 클러스터링을 수행하여 수동 임계값이나 노이즈 사전 정보 없이 샘플을 깨끗한 쪽이 우세한 구성요소와 노이즈가 우세한 구성요소로 적응적으로 분할한다.
CIFAR-10, MNIST, ImageNet-100에서 5%부터 40%까지의 대칭 라벨 노이즈로 실험한 결과, ImageNet-100에서 40% 노이즈 시 거의 완벽한 재현율(>=98%)을 포함하여 모든 설정에서 높은 재현율을 보였다. 이후 학습에서는 평가된 모든 설정에서, 특히 ImageNet-100의 심각한 손상 조건에서 정확도 향상을 얻었다. 이러한 결과는 다중 지표 통합이 노이즈 라벨 탐지를 위한 임계값 불필요, 실용적, 저튜닝 전략을 제공함을 시사한다.