arXiv:2610.07292v1 stat.ML

결측 공변량이 있는 가정-의존성이 적은 로지스틱 회귀

Assumption-lean logistic regression with missing covariates

Jyotishka Ray Choudhury, Kabir Aladin Verchand, Richard J. Samworth, Ashwin Pananjady

제출 2026-10-05

한국어 초록

지도학습(supervised learning) 문제에서는 결측 공변량(missing covariates)이 빈번하게 발생하며, 이러한 데이터를 사용한 추정을 위한 고전적인 방법들은 결측 데이터를 위한 신중하게 선택된 대치(imputation) 기법이나 비볼록(nonconvex) $M$-추정 문제를 초래하는 가능도(likelihood) 근사를 사용합니다. 이러한 방법들과 관련 기법들은 공변량 분포가 알려진 시나리오에 적합하며, 더 넓게는 선형 모델에서 엄청난 성공을 거두었습니다. 그러나 중간 차원의 로지스틱 회귀와 같은 기본적인 비선형 문제에서조차, 이러한 방법들은 공변량 분포를 알 수 없을 때 극단적인 실패 모드를 겪을 수 있습니다. 신뢰할 수 있는 대안의 필요성에 착안하여, 본 논문에서는 결측 공변량이 있는 로지스틱 회귀에서의 매개변수(parameter) 추정 문제를 다룹니다. 결정적으로, 본 연구는 공변량 분포를 알 수 없으나(유계인) 가정-의존성이 적은(assumption-lean) 설정에서 작동합니다. 새로운 단조 연산자(monotone operator)를 갖는 $Z$-추정에 기반한 확률적 근사(stochastic approximation) 방법을 설계하고, 공변량이 완전히 무작위로 결측된다(missing completely at random)는 가설 하에서 제안하는 알고리즘이 계산적으로 효율적이며 모수적 수렴 속도(parametric rate)로 신호 복구를 입증할 수 있음을 규명합니다. 본 이론은 이질적인 관측 확률을 수용하면서 결측 프로파일 측면에서 추정량의 $\ell_2^2$ 위험을 정밀하게 특성화합니다. 중요하게도, 이는 제안하는 방법이 결측 데이터가 있는 관측치를 무시하는 사실상의 표준인 '완전 분석(complete-case)' 추정량보다 항상 우수함을 보여줍니다. 각 공변량이 확률 $q$로 독립적으로 관측되는 균일 결측(homogeneous missingness) 설정에서도, 본 연구의 한계(bound)는 완전 분석만을 사용하는 것보다 상당한 개선을 가져올 수 있는 복잡하고 비표준적인 $q$ 의존성을 나타냅니다. 나아가 이러한 복잡한 $q$ 의존성이 미니맥스(minimax) 관점에서 근본적임을 보여주는 새로운 정보 이론적 하한(lower bound)을 제시하여 상한(upper bound)을 보완합니다.

원문 초록

Missing covariates are frequently encountered in supervised learning problems, and classical methods for estimation using such data use carefully chosen imputation schemes for missing data, or likelihood approximations that lead to nonconvex $M$-estimation problems. These methods and their relatives are suitable for scenarios in which the covariate distribution is known, and more broadly, have enjoyed tremendous success in linear models. But even in basic nonlinear problems such as logistic regression in moderate dimensions, such methods can experience drastic failure modes when the covariate distribution is unknown. Motivated by the need for reliable alternatives, we consider the problem of parameter estimation in logistic regression with missing covariates. Crucially, we operate in the assumption-lean setting where the covariate distribution is unknown (but bounded). We design a stochastic approximation method that is based on $Z$-estimation with a novel monotone operator, and establish that our algorithm is computationally efficient and achieves provable signal recovery at parametric rates under the hypothesis that covariates are missing completely at random. Our theory sharply characterizes the $\ell_2^2$ risk of the estimator in terms of the missingness profile, accommodating heterogeneous observation probabilities. Importantly, it shows that our method always outperforms the de facto ``complete-case'' estimator that ignores observations with any missing data. Even in the setting with homogeneous missingness (in which each covariate is observed independently with probability $q$), our bounds exhibit intricate and nonstandard dependence on $q$ that can yield significant improvements over using only complete cases. We complement our upper bounds with new information-theoretic lower bounds that show that this intricate dependence on $q$ is fundamental in a minimax sense.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07292v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.