자기지도 사전학습은 언제 표 형식(tabular) 모델에 도움이 되는가? 레이블 부족과 결측 데이터에 대한 연구
When Does Self-Supervised Pretraining Help Tabular Models? A Study of Label Scarcity and Missing Data
한국어 초록
자기지도 학습(Self-supervised learning, SSL)은 표 형식(tabular) 데이터에 대한 유망한 접근법으로 부상했지만, 극심한 레이블 부족과 테스트 시점 결측 상황에서의 효과는 아직 충분히 탐구되지 않았다. 본 논문에서는 14개의 다양한 분류 과제에서 마스크-복원(mask-and-recover) SSL 사전학습 목적 함수를 처음부터 학습(training from scratch)한 모델 및 고전적 베이스라인과 비교하여 평가한다. 첫째, SSL은 평균적으로 처음부터 학습한 모델보다 우수하고 최첨단 트리 앙상블과도 경쟁력을 유지하지만(레이블 10%에서 SSL은 ~0.8954 AUC, Random Forest는 0.9015 AUC), SSL 대비 처음부터 학습 모델의 성능 향상은 과제 간 분산이 크고 유의하지 않다(레이블 5% 및 10% 모두에서 p = 0.626). 둘째, 결측값 대체(imputation) 목적 함수가 원래 결측이 있는 데이터셋에 보편적으로 도움이 된다는 가설과 달리, SSL은 결측이 없는 깨끗한 데이터셋에서 가장 안정적인 개선을 보였고, 내재적 결측률이 높은 데이터셋에서는 성능을 저하시키는 경우가 잦았다. 셋째, 이러한 학습 분산에도 불구하고, SSL로 사전학습된 모델은 완전 무작위 결측(MCAR) 주입(+0.0245 AUC, 14개 과제 중 11개에서 양의 향상)과 구조적 결측 변화(MNAR, +0.0418 AUC, 14개 과제 중 8개에서 양의 향상) 모두에서 처음부터 학습한 모델보다 평균 AUC가 높았으나, 다중 비교에 대한 Holm-Bonferroni 보정 후에는 두 차이 모두 통계적으로 유의하지 않았다(보정된 p는 각각 0.118 및 0.518). 넷째, 동일한 인코더 아키텍처 하에서 본 마스크-복원 목적 함수를 확립된 세 가지 표 형식 SSL 베이스라인(VIME, SCARF, SubTab)과 비교한 결과, 어느 것과도 유의한 차이가 없었으며(보정된 p = 0.459, p = 1.000, p = 1.000), 이는 본 연구의 결과가 특정 프리텍스트 과제(pretext task) 하나의 특이성이 아니라 표 형식 SSL의 일반적 특성을 반영함을 시사한다.
원문 초록
Self-supervised learning (SSL) has emerged as a promising approach for tabular data, yet its efficacy under extreme label scarcity and test-time missingness remains under-explored. In this paper, we evaluate a mask-and-recover SSL pretraining objective against training from scratch and classical baselines across 14 diverse classification tasks. First, while SSL outperforms training from scratch on average and remains competitive with state-of-the-art tree ensembles (achieving ~0.8954 AUC vs. Random Forest's 0.9015 at 10% labels), the SSL-vs-scratch gains exhibit high inter-task variance and lack significance (p = 0.626 at both 5% and 10% labels). Second, contrary to the hypothesis that missing-value imputation objectives universally benefit datasets with native missingness, SSL yields the most reliable improvements on clean datasets, while frequently degrading performance on datasets with high inherent missingness. Third, despite this training variance, SSL-pretrained models achieve a higher average AUC than scratch-trained models under both test-time missingness completely at random (MCAR) injection (+0.0245 AUC, positive on 11 of 14 tasks) and structured missingness shifts (MNAR, +0.0418 AUC, positive on 8 of 14 tasks), though neither difference remains statistically significant after Holm-Bonferroni correction for multiple comparisons (adjusted p = 0.118 and p = 0.518, respectively). Fourth, comparing our mask-and-recover objective against three established tabular SSL baselines (VIME, SCARF, SubTab) under an identical encoder architecture, we find no significant difference from any of them (adjusted p = 0.459, p = 1.000, p = 1.000), indicating our findings reflect general properties of tabular SSL rather than idiosyncrasies of one particular pretext task.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24381v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.