잡음이 있는 대리 공변량을 이용한 준지도 학습: 일반화 한계와 분포 회귀
Semi-Supervised Learning with Noisy Proxy Covariates: Generalization Bounds and Distribution Regression
한국어 초록
현대의 많은 기계학습 파이프라인에서는 풍부한 사전 학습 표현이 잡음이 있는 대리 공변량으로 쓰이는 반면, 과제별 레이블은 부족하다. 본 논문은 이러한 설정에서 준지도 회귀를 연구하며, 모든 대리 공변량으로부터 커널 고유특징을 학습하고 레이블된 데이터에 릿지 예측기를 적합하는 단순한 2단계 추정량을 제안한다. 대리 공변량의 섭동이 통제되고 레이블 없는 대리 공변량이 충분히 풍부할 때 빠른 레이블 표본 수렴률이 회복됨을 보이는 유한 표본 한계를 유도한다. 또한 분포 회귀가 직접적인 특수 사례임을 보이며, 유한한 백 크기가 충분히 클 때 유사한 보장이 성립함을 보인다. 실험은 특히 레이블이 적은 체제에서 지도 및 준지도 기준 방법들에 비해 일관된 이득이 있음을 보여준다.
원문 초록
In many modern machine learning pipelines, abundant pretrained representations serve as noisy proxy covariates, while task-specific labels remain scarce. We study semi-supervised regression in this setting, and propose a simple two stage estimator that learns kernel eigenfeatures from all proxy covariates and fits a ridge predictor on labeled data. We derive finite sample bounds showing that fast labeled sample rates are recovered when proxy perturbation is controlled and unlabeled proxy covariates are sufficiently abundant. We also show that distribution regression is a direct special case, with analogous guarantees when the finite bag size is large enough. Experiments show consistent gains over supervised and semi-supervised baselines, especially in low label regimes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.00512v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.