arXiv:2610.10919v1 cs.DB

데이터 품질 메트릭을 위한 구현 가이드라인

Implementation Guidelines for Data Quality Metrics

Philipp Jung, Katinka Becker, Felix Biessmann, Valerie Restat, Martin Seyferth, Daniel Schwabe, Lisa Ehrlinger

제출 2026-10-07

저자 비고

arXiv Comments

14 pages, 7 figures, 5 tables. Submitted to EDBT 2027

한국어 초록

수십 년간의 데이터 품질(DQ) 연구에도 불구하고, 문헌에서 텍스트 형태로 정의하는 정확도(accuracy)나 완전성(completeness)과 같은 DQ 차원과, 이러한 차원과 일치하지 않는 저수준 검사를 주로 수행하는 DQ 도구 사이에는 여전히 격차가 존재합니다. ISO/IEC 25024 및 ISO/IEC 5259는 각 차원에 대한 DQ 메트릭을 정의함으로써 이러한 격차를 해소하고자 시도합니다. 그러나 표준에서는 이를 구현하는 방법을 구체적으로 명시하지 않았기 때문에 이러한 DQ 메트릭은 거의 사용되지 않습니다. 예를 들어 구문적 정확도(syntactic accuracy) 메트릭은 구문적으로 정확한 값의 수를 세지만, 어떤 값이 구문적으로 정확한지 판단하는 방법은 명시하지 않습니다. 이는 문제를 해결하지 않고 다른 수준으로 옮겨 놓을 뿐입니다. 그 결과, 현재의 DQ 평가는 표준에 기반할 수 없는 상황입니다. 본 논문에서는 ISO DQ 메트릭을 실행 가능하도록 만듭니다. 두 표준의 모든 데이터 수준 메트릭을 (i) 데이터 외의 다른 입력이 필요 없는 일반화 가능한 메트릭, (ii) 깨끗한 참조 데이터로부터 매개변수를 학습하거나 전문가가 설정할 수 있는 매개변수화된 메트릭, (iii) 정성적 판단이 필요하여 자동화할 수 없는 일반화 불가능한 메트릭으로 분류합니다. 자동화할 수 있는 메트릭, 즉 (i)과 (ii) 범주에 대해 표준에서 미해결 상태로 남겨둔 부분을 해결하는 구현 가이드라인을 제안합니다. 우리는 수동으로 정의된 규칙에 의존하는 대신 참조 데이터로부터 이러한 매개변수를 학습하는 20개 메트릭의 오픈소스 라이브러리인 dqmeasure를 통해 가이드라인을 구현합니다. 실제 및 합성 데이터셋에 대한 실험에 따르면, 주입된 오류의 수가 증가함에 따라 메트릭 점수가 단조 감소하고, 다운스트림 머신러닝(ML) 성능과 함께 저하되며, 행 수에 따라 선형적으로 확장(스케일링)되어 표준 기반의 자동화된 DQ 모니터링이 가능함을 보여줍니다.

원문 초록

Despite decades of data quality (DQ) research, a gap remains between DQ dimensions, such as accuracy or completeness, which the literature defines in textual form, and DQ tools, which typically implement low-level checks that are not aligned with these dimensions. ISO/IEC 25024 and ISO/IEC 5259 attempt to bridge this gap by defining DQ metrics for each dimension. However, these DQ metrics are hardly used, because the standards leave open how to implement them: for example, the metric for syntactic accuracy counts syntactically accurate values, but does not state how to decide that a value is syntactically accurate. This simply moves the problem to another level without solving it. As a result, DQ assessment currently cannot build on the standards. In this paper, we make the ISO DQ metrics executable. We classify all data-level metrics of both standards into (i) generalizable metrics that need no input beyond the data, (ii) parameterized metrics whose parameters can be learned from clean reference data or set by an expert, and (iii) non-generalizable metrics that need qualitative judgment and cannot be automated. For the metrics that can be automated, i.e., categories (i) and (ii), we propose implementation guidelines that resolve what the standards leave open. We realize the guidelines in dqmeasure, an open-source library of 20 metrics that learns these parameters from reference data instead of relying on manually defined rules. Our experiments on real-world and synthetic datasets show that the metric scores decrease monotonically with an increasing number of injected errors, decline together with downstream ML performance, and scale linearly with the number of rows, which enables automated DQ monitoring based on the standards.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10919v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02397v1cs.LG공통 태그 data quality

미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과

Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result

전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.

arXiv:2607.20465v1cs.LG공통 태그 data quality

DataPrep-Bench: 학습 데이터 준비자로서 LLM 벤치마킹

DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

학습 데이터의 품질은 대규모 언어 모델(LLM)의 능력을 근본적으로 결정하지만, LLM, 에이전트, 데이터 중심 워크플로가 실제로 end-to-end로 학습 데이터를 얼마나 잘 준비하는지 측정하는 통합 벤치마크는 아직 존재하지 않는다. 우리는 LLM 기반 데이터 준비를 두 가지 상호 보완적인 역량으로 구성되는 것으로 본다: 원시 소스를 지도 학습 데이터로 변환하는 데이터 구성(data construction), 그리고 하류 학습 전에 후보 데이터셋의 학습 가치를 예측하는 데이터 품질 평가(data quality evaluation); 전반에 걸쳐 "품질"은 표면적인 텍스트 속성이 아니라 하류 학습 유용성(downstream training utility)을 가리킨다. 우리는 DataPrep-Bench를 제안한다. 이는 여섯 개 도메인과 여러 기본 모델에 걸쳐 공유된 하류 기반(downstream-grounded) 프로토콜 아래 두 역량을 함께 평가하는 최초의 통합 벤치마크이다. 데이터 구성의 경우, 각 방법은 동일한 원시 소스를 사용하며, 그 출력물에 Dolly-15k를 함께 적용해 기본 모델을 미세조정하는 방식으로 점수를 매긴다; 이 트랙과 함께 우리는 Data-Construction-Skill을 공개한다. 이는 스킬 가이드 에이전트로, Llama-3.1-8B Finance에서 Dolly만 사용한 기준선을 절대값 기준 거의 20점 향상시키며, 지식 추출이 밀집한 도메인에서 가장 강력한 에이전트 및 DataFlow 기반 방법과 경쟁력을 보인다. 데이터 품질 평가의 경우, 점수 함수는 공유된 후보 풀에서 하류 성능과의 Pearson 상관으로 평가된다; 우리는 Distributional Alignment Score(DAS)를 공개한다. 이는 후보 데이터셋과 도메인 프록시 간 MMD를 사용하는 분포 기반 평가자이다. DAS는 여섯 도메인 중 네 곳에서 가장 강한 교차 모델 상관을 달성하며, Math, Science, Medical에서 동시에 r > 0.70을 넘기는 유일한 지표로, 기존의 품질-, 다양성-, 휴리스틱 기반 평가자들을 능가한다. DataPrep-Bench는 LLM 기반 데이터 준비의 동등한 목표인 두 역량 모두에 대한 진전을 측정하는 통합적이고 하류 기반의 프레임워크를 제공한다.

arXiv:2607.04563v1cs.CL공통 태그 data quality

텍스트를 위한 충실도-다양성 지표

Fidelity-Diversity Metrics for Text

언어 모델링 기술이 성숙해짐에 따라, 이러한 모델을 학습하는 데 사용되는 데이터셋의 구성과 큐레이션에 대한 연구 관심이 높아지고 있다. 예를 들어, 실무자들은 일반적으로 고품질 데이터셋에 추가 텍스트를 보완하여 해당 데이터로 학습된 모델의 성능을 향상시키고자 한다. 그러나 데이터 증강에 대한 합리적인 의사결정을 위해서는 데이터 품질에 대한 보다 세밀한 평가가 필요하다. 본 연구는 생성 모델의 정밀도와 재현율을 측정하는 기존 연구를 기반으로, (1) 충실도(fidelity)—후보 텍스트가 참조 데이터와 얼마나 유사한지를 포착—와 (2) 다양성(diversity)—후보 텍스트가 참조 데이터셋의 모드를 얼마나 잘 포괄하는지를 포착—를 정량화하는 한 쌍의 지표를 개발한다. 제안하는 지표는 이산 텍스트 요약 간의 최적 수송(optimal transport) 발산 범함수(divergence functional)에 기반한다. M2D2 텍스트 데이터셋을 대상으로 한 실험에서, 이 지표들이 결함 있는 후보 텍스트에서 충실도 부족과 다양성 부족을 분리하여 진단할 수 있음을 보인다. 추가 실험에서는, 합성 GSM8K 방식의 수학 데이터셋에서 다양성 결핍을 탐지하며, 이는 해당 합성 데이터로 파인튜닝된 언어 모델의 다운스트림 정확도 저하와 상관관계를 보인다.

arXiv:2510.06596v2cs.CV공통 태그 data quality

SDQM: 객체 검출 데이터셋 평가를 위한 합성 데이터 품질 지표

SDQM: Synthetic Data Quality Metric for Object Detection Dataset Evaluation

머신러닝 모델의 성능은 학습 데이터에 크게 의존합니다. 대규모의 잘 주석이 달린 데이터셋 부족은 견고한 모델 생성에 있어 중요한 도전 과제를 야기합니다. 이를 해결하기 위해 시뮬레이션 및 생성 모델을 통해 생성된 합성 데이터가 유망한 해결책으로 등장하여, 데이터셋의 다양성을 높이고 모델의 성능, 신뢰성, 회복력을 향상시켰습니다. 그러나 이 생성된 데이터의 품질을 평가하려면 효과적인 지표가 필요합니다. 본 연구에서는 모델 학습(training)의 수렴이 필요 없이 객체 검출(object detection) 작업의 데이터 품질을 평가하기 위한 합성 데이터셋 품질 지표(SDQM)를 제안합니다. 이 지표는 합성 데이터셋의 생성 및 선택을 더욱 효율적으로 만들어, 자원이 제한된 객체 검출 작업의 핵심 과제를 해결합니다. 실험 결과, SDQM은 선도적인 객체 검출 모델인 YOLO11의 평균 정밀도(mAP) 점수와 강한 상관관계를 나타낸 반면, 기존 지표들은 중간 정도 또는 약한 상관관계만을 보였습니다. 또한, 비용이 많이 드는 반복적인 학습(iterative training)의 필요성을 최소화하면서 데이터셋 품질 개선을 위한 실행 가능한 통찰력을 제공합니다. 이 확장 가능하고 효율적인 지표는 합성 데이터 평가의 새로운 표준을 제시합니다. SDQM의 코드는 https://github.com/ayushzenith/SDQM 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.