자기지도 사전학습은 언제 표 형식(tabular) 모델에 도움이 되는가? 레이블 부족과 결측 데이터에 대한 연구
When Does Self-Supervised Pretraining Help Tabular Models? A Study of Label Scarcity and Missing Data
자기지도 학습(Self-supervised learning, SSL)은 표 형식(tabular) 데이터에 대한 유망한 접근법으로 부상했지만, 극심한 레이블 부족과 테스트 시점 결측 상황에서의 효과는 아직 충분히 탐구되지 않았다. 본 논문에서는 14개의 다양한 분류 과제에서 마스크-복원(mask-and-recover) SSL 사전학습 목적 함수를 처음부터 학습(training from scratch)한 모델 및 고전적 베이스라인과 비교하여 평가한다. 첫째, SSL은 평균적으로 처음부터 학습한 모델보다 우수하고 최첨단 트리 앙상블과도 경쟁력을 유지하지만(레이블 10%에서 SSL은 ~0.8954 AUC, Random Forest는 0.9015 AUC), SSL 대비 처음부터 학습 모델의 성능 향상은 과제 간 분산이 크고 유의하지 않다(레이블 5% 및 10% 모두에서 p = 0.626). 둘째, 결측값 대체(imputation) 목적 함수가 원래 결측이 있는 데이터셋에 보편적으로 도움이 된다는 가설과 달리, SSL은 결측이 없는 깨끗한 데이터셋에서 가장 안정적인 개선을 보였고, 내재적 결측률이 높은 데이터셋에서는 성능을 저하시키는 경우가 잦았다. 셋째, 이러한 학습 분산에도 불구하고, SSL로 사전학습된 모델은 완전 무작위 결측(MCAR) 주입(+0.0245 AUC, 14개 과제 중 11개에서 양의 향상)과 구조적 결측 변화(MNAR, +0.0418 AUC, 14개 과제 중 8개에서 양의 향상) 모두에서 처음부터 학습한 모델보다 평균 AUC가 높았으나, 다중 비교에 대한 Holm-Bonferroni 보정 후에는 두 차이 모두 통계적으로 유의하지 않았다(보정된 p는 각각 0.118 및 0.518). 넷째, 동일한 인코더 아키텍처 하에서 본 마스크-복원 목적 함수를 확립된 세 가지 표 형식 SSL 베이스라인(VIME, SCARF, SubTab)과 비교한 결과, 어느 것과도 유의한 차이가 없었으며(보정된 p = 0.459, p = 1.000, p = 1.000), 이는 본 연구의 결과가 특정 프리텍스트 과제(pretext task) 하나의 특이성이 아니라 표 형식 SSL의 일반적 특성을 반영함을 시사한다.