arXiv:2611.24181v1 stat.ML

레이블 잡음이 있는 편향 가우시안 반공간 학습을 위한 희소 꼬리 통계량

Rare-Tail Statistics For Learning Biased Gaussian Halfspaces with Label Noise

Arya Mazumdar, Prateeti Mukherjee, Harsh Vardhan

제출 2026-11-19

한국어 초록

본 연구는 레이블 잡음이 존재하는 상황에서 일반 가우시안 반공간을 학습하는 고전적 문제를 다시 살펴보며, 특히 여러 표준 레이블 잡음 모형에서 정보-계산 간극이 존재할 것으로 추측되는 큰 편향 영역에 초점을 맞춘다. 구체적으로, 관측된 소수 클래스만을 평균하는 매우 단순한 단일 단계 통계량인 희소 꼬리 평균 추정량(rare-tail mean estimator)을 제시하고 분석한다. 큰 편향 영역에서 고전적인 평균화 방법(Servedio, 1999)과 이와 관련된 전역 1차 모멘트 통계량은 최적에 미치지 못함이 증명되는 반면, 희소 꼬리 평균 추정량은 프로빗 잡음과 경계에서 멀어질수록 매우 느리게 감쇠하는 마진 의존 잡음을 포함하는 광범위한 레이블 잡음 모형 아래에서 (로그 인자를 제외하면) 정보이론적 표본 비율로 목표 반공간의 방향을 복원한다. 특히 본 보장은 결정 경계에 임의로 가까운 레이블이 거의 무작위이더라도 적은 수의 표본으로 강한 방향 복원을 가능하게 한다. 또한 이 추정량은 무잡음 영역과 잡음 영역 사이를 자연스럽게 보간한다. 잡음이 없을 때에는 실현 가능한 반공간에 대한 고전적인 분리 가능성 기반 방법과 동일한 표본 비율을 달성하며, 잡음이 낮거나 경계에서 멀어질수록 감쇠하는 경우에는 선형 분리 가능성이 깨진 이후에도 이 비율을 유지한다. 응용으로 두 단계 커리큘럼을 고려한다. 첫 단계의 원천 표본은 경계 근처에서 잡음이 1/2에 임의로 가까울 수 있고 경계에서 멀어질 때 매우 느리게 감쇠하며, 이후 단계의 목표 표본은 모든 레이블을 동일한 비율로 뒤집는 잡음, 즉 무작위 분류 잡음(RCN)을 갖는다. 두 단계가 동일한 베이즈 최적 반공간을 공유하므로, 본 추정량은 기존의 정제 루틴에 필요한 방향 초기값을 제공하며, 둘을 함께 사용하면 큰 편향 영역에서 로그 인자를 제외하고 정보이론적 표본 비율로 RCN 목표를 학습할 수 있다.

원문 초록

We revisit the classical problem of learning general Gaussian halfspaces in the presence of label noise, with particular focus on the large-bias regime, where information-computation gaps are conjectured in several standard label-noise models. Concretely, we present and analyze the rare-tail mean estimator, an extremely simple one-shot statistic that averages only the observed minority class. In the large-bias regime, classical Averaging (Servedio, 1999) and related global first-moment statistics are provably suboptimal, while the rare-tail mean estimator recovers the target halfspace direction at the information-theoretic sample rate (modulo log factors) under a broad class of label noise models, including probit noise and margin-dependent noise with very slow decay away from the boundary. Notably, our guarantees allow labels arbitrarily close to the decision boundary to be nearly random, while still giving strong directional recovery from a small number of samples. The estimator also cleanly interpolates between the noiseless and noisy regimes: without noise, it attains the same sample rate as classical separability-based methods for realizable halfspaces, and under low noise, or noise that decays away from the boundary, it keeps this rate even after linear separability has been destroyed. As an application, we consider a two-stage curriculum in which source samples, whose noise may be arbitrarily close to $1/2$ near the boundary and decay very slowly away from it, precede target samples, whose noise flips every label at the same rate, i.e., random classification noise (RCN). Since both stages share the same Bayes optimal halfspace, our estimator supplies the directional warm start needed by existing refinement routines, and together they learn the RCN target at the information-theoretic sample rate in the large-bias regime, up to log factors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24181v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.