arXiv:2610.39194v2 stat.ML

영보완 외삽: 계수 부족 영역의 극심한 불균형 로지스틱 회귀에서 매개변수 복원과 분류

Zero-Complement Extrapolation: Parameter Recovery and Classification in Severely Imbalanced Logistic Regression under Rank-Deficient Regimes

Chongsun Park

제출 2026-10-29

한국어 초록

이진 로지스틱 회귀에서 소수 클래스 관측치 수($n_1$)가 특징 차원($p$)보다 작으면 매개변수 추정과 분류 성능이 심각하게 저하된다. 이러한 계수 부족 희소성($n_1 < p$) 하에서는 최대우도 추정량이 준완전 분리 문제를 겪고, 벌점 우도 방법은 심각한 절편 편향을 보이며, SMOTE와 같은 볼록 소수 클래스 오버샘플링 기법은 $(n_1 - 1)$차원 아핀 부분공간으로 붕괴한다. 본 논문에서는 소수 클래스 보간에서 다수 클래스 주변부 외삽으로 패러다임을 전환하는 새로운 \textit{자기 보정 영보완(Self-Calibrated Zero-Complement)} 추정량을 제안한다. Stein의 보조정리에 기반하여, 로지스틱 절단으로 유발되는 풍부한 다수 클래스($Y=0$)의 조건부 기댓값 이동이 Mahalanobis 백색화 이후 참 초평면의 법선 $\boldsymbol{\beta}$를 유일하게 식별함을 증명한다. 또한 다수 클래스 분포의 고분위 밀도 주변부로부터 켤레 방향을 따라 합성 소수 클래스 사례를 바깥쪽으로 외삽하면 공분산의 전계수 정칙성($\mathrm{rank} = p$)이 보존됨을 보인다. 비라벨 배경 평균이 있는 준지도 환경과 엄격한 지도 부표본을 모두 수용하기 위해, 다수 클래스의 고유한 3차 모멘트 왜도와 위치 이동에 불변인 영경계 절편 보정을 결합한 하이브리드 추정량을 도입한다. 극단적 희소성($n_1 \in \{3, 5\}$) 하에서 수행한 광범위한 몬테카를로 시뮬레이션과 실제 벤치마크 적용(Wisconsin Diagnostic Breast Cancer 및 Banknote Authentication) 결과, 제안한 접근법은 매개변수 발산을 방지하고 오라클 초평면을 높은 충실도로 복원하며, F1 점수와 추정 안정성에서 Firth 회귀와 SMOTE를 크게 능가함을 보인다.

원문 초록

Parameter estimation and classification in binary logistic regression deteriorate severely when the number of minority class observations ($n_1$) is smaller than the feature dimension ($p$). Under such rank-deficient rarity ($n_1 < p$), maximum likelihood estimators suffer from quasi-complete separation, penalized likelihood methods exhibit severe intercept bias, and convex minority oversampling techniques such as SMOTE collapse into an $(n_1 - 1)$-dimensional affine subspace. In this paper, we propose a novel \textit{Self-Calibrated Zero-Complement} estimator that shifts the paradigm from minority interpolation to majority fringe extrapolation. Grounded in Stein's Lemma, we prove that the conditional expectation shift of the abundant majority class ($Y=0$) induced by logistic truncation uniquely identifies the true hyperplane normal $\boldsymbol{\beta}$ after Mahalanobis whitening. We further establish that extrapolating synthetic minority instances outward from the high-quantile density fringe of the majority distribution along the conjugate direction preserves full-rank covariance regularity ($\mathrm{rank} = p$). To accommodate both semi-supervised environments (with an unlabeled background mean) and strictly supervised subsamples, we introduce a hybrid estimator incorporating the intrinsic third-moment skewness of the majority class alongside a location-shift-invariant zero-boundary intercept calibration. Extensive Monte Carlo simulations and real-world benchmark applications (Wisconsin Diagnostic Breast Cancer and Banknote Authentication) under extreme rarity ($n_1 \in \{3, 5\}$) demonstrate that our approach prevents parameter divergence, recovers the oracle hyperplane with high fidelity, and substantially outperforms Firth's regression and SMOTE in F1-score and estimation stability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.39194v2제출 시각 미확인
  2. arXiv:2610.39194v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.