arXiv:2412.02108

Evaluating the Impact of Data Augmentation on Predictive Model Performance

Valdemar Švábenský, Conrad Borchers, Elizabeth B. Cloude, Atsushi Shimada

제출 2024-12-03

원문 초록

In supervised machine learning (SML) research, large training datasets are essential for valid results. However, obtaining primary data in learning analytics (LA) is challenging. Data augmentation can address this by expanding and diversifying data, though its use in LA remains underexplored. This paper systematically compares data augmentation techniques and their impact on prediction performance in a typical LA task: prediction of academic outcomes. Augmentation is demonstrated on four SML models, which we successfully replicated from a previous LAK study based on AUC values. Among 21 augmentation techniques, SMOTE-ENN sampling performed the best, improving the average AUC by 0.01 and approximately halving the training time compared to the baseline models. In addition, we compared 99 combinations of chaining 21 techniques, and found minor, although statistically significant, improvements across models when adding noise to SMOTE-ENN (+0.014). Notably, some augmentation techniques significantly lowered predictive performance or increased performance fluctuation related to random chance. This paper's contribution is twofold. Primarily, our empirical findings show that sampling techniques provide the most statistically reliable performance improvements for LA applications of SML, and are computationally more efficient than deep generation methods with complex hyperparameter settings. Second, the LA community may benefit from validating a recent study through independent replication.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.14343stat.CO공통 태그 Data Augmentation공식 코드 · Papers with Code

고차원 프로빗 회귀를 위한 데이터 증강 깁스 샘플러의 혼합 시간

Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression

우리는 베이지안 프로빗 회귀를 위한 널리 사용되는 데이터 증강 샘플러의 수렴 특성을 조사합니다. 로그 오목(log-concave) 타겟에 대한 깁스 샘플러의 최근 연구 결과를 활용하여, 관련 혼합 시간(mixing times)에 대해 쿨백-라이블러 발산(Kullback-Leibler divergence) 기준으로 간단하고 명시적인 비점근적 경계를 제공합니다. 이 경계는 설계 행렬과 사전 정밀도(prior precision)에 명시적으로 의존하며, 반응 벡터 전체에 대해 균일하게 성립합니다. 데이터 포인트의 수 $n$과 파라미터의 수 $p$가 모두 큰 경우, 통계적으로 흥미로운 다양한 영역(regimes)에 결과를 적용하여 분석합니다. 특히 $n,p\to\infty$에 따라 혼합 시간이 유계로 유지되는 시나리오와 그렇지 않은 시나리오를 식별합니다. 해당 결과는 (반응에 대한 최악의 경우 기준으로) 타이트(tight)함이 입증되었으며, 빠른 혼합(fast mixing)으로 이어짐이 증명 가능한 사전 분포(prior distributions) 선택에 대한 지침을 제공합니다. 결합 기법(coupling techniques)에 기반한 실증적 분석은 제안된 경계가 실제 관찰되는 행동을 예측하는 데 효과적임을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.