PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10919v1cs.DB

데이터 품질 메트릭을 위한 구현 가이드라인

Implementation Guidelines for Data Quality Metrics

수십 년간의 데이터 품질(DQ) 연구에도 불구하고, 문헌에서 텍스트 형태로 정의하는 정확도(accuracy)나 완전성(completeness)과 같은 DQ 차원과, 이러한 차원과 일치하지 않는 저수준 검사를 주로 수행하는 DQ 도구 사이에는 여전히 격차가 존재합니다. ISO/IEC 25024 및 ISO/IEC 5259는 각 차원에 대한 DQ 메트릭을 정의함으로써 이러한 격차를 해소하고자 시도합니다. 그러나 표준에서는 이를 구현하는 방법을 구체적으로 명시하지 않았기 때문에 이러한 DQ 메트릭은 거의 사용되지 않습니다. 예를 들어 구문적 정확도(syntactic accuracy) 메트릭은 구문적으로 정확한 값의 수를 세지만, 어떤 값이 구문적으로 정확한지 판단하는 방법은 명시하지 않습니다. 이는 문제를 해결하지 않고 다른 수준으로 옮겨 놓을 뿐입니다. 그 결과, 현재의 DQ 평가는 표준에 기반할 수 없는 상황입니다. 본 논문에서는 ISO DQ 메트릭을 실행 가능하도록 만듭니다. 두 표준의 모든 데이터 수준 메트릭을 (i) 데이터 외의 다른 입력이 필요 없는 일반화 가능한 메트릭, (ii) 깨끗한 참조 데이터로부터 매개변수를 학습하거나 전문가가 설정할 수 있는 매개변수화된 메트릭, (iii) 정성적 판단이 필요하여 자동화할 수 없는 일반화 불가능한 메트릭으로 분류합니다. 자동화할 수 있는 메트릭, 즉 (i)과 (ii) 범주에 대해 표준에서 미해결 상태로 남겨둔 부분을 해결하는 구현 가이드라인을 제안합니다. 우리는 수동으로 정의된 규칙에 의존하는 대신 참조 데이터로부터 이러한 매개변수를 학습하는 20개 메트릭의 오픈소스 라이브러리인 dqmeasure를 통해 가이드라인을 구현합니다. 실제 및 합성 데이터셋에 대한 실험에 따르면, 주입된 오류의 수가 증가함에 따라 메트릭 점수가 단조 감소하고, 다운스트림 머신러닝(ML) 성능과 함께 저하되며, 행 수에 따라 선형적으로 확장(스케일링)되어 표준 기반의 자동화된 DQ 모니터링이 가능함을 보여줍니다.