희소 지지 벡터 머신을 위한 고차원 통계적 추론
High-Dimensional Statistical Inference for Sparse Support Vector Machines
한국어 초록
복제 대칭(replica-symmetric) 고차원 특성화를 이용하여, 샘플 크기와 특징(feature) 수가 비례적으로 증가하는 상황에서 희소 지지 벡터 머신(SVM)에 대한 추론 프레임워크를 개발한다. 주된 어려움은 비평활(nonsmooth) 힌지 손실(hinge loss)로, 이는 평활한 분류 손실에 대해 개발된 편향 제거(debiasing) 논증을 직접 적용하는 것을 막는다. 우리는 $L_1$-페널티가 부과된 지지 벡터 머신(SVM)을 선형 프로그램으로 표현하고, 쌍대 변수(dual variable)를 통해 힌지 손실의 서브그래디언트(subgradient)를 식별함으로써 이 어려움을 극복한다. 이를 통해 비례적 점근(asymptotic) 체제 하에서 좌표들이 점근적으로 가우시안(Gaussian) 분포를 따르는, 계산적으로 접근 가능한 편향 제거 추정량(debiased estimator)을 얻는다. 그 결과로 얻어진 분포적 특성화는 개별 특징에 대한 신뢰구간과 가설검정을 제공하며, 거짓 발견율(false discovery rate)이 통제된 변수 선택을 가능하게 한다. 강한 상관관계를 갖는 설계를 포함한 다양한 공분산 구조 하에서 보정(calibration), 검정력(power), 변수 선택 성능을 광범위한 시뮬레이션을 통해 검토한다. 고차원 유방암 유전자 발현 데이터를 분석하여, 제안된 추론 방법이 원래의 희소 SVM에 의해 선택된 변수들 중에서 통계적으로 유의한 특징을 구별할 수 있음을 보인다.
원문 초록
Using a replica-symmetric high-dimensional characterization, we develop an inferential framework for sparse support vector machines when the sample size and number of features grow proportionally. The main challenge is the nonsmooth hinge loss, which prevents direct application of debiasing arguments developed for smooth classification losses. We overcome this difficulty by representing the $L_1$-penalized support vector machine (SVM) as a linear program and identifying the hinge-loss subgradient through its dual variables. This yields a computationally accessible debiased estimator whose coordinates are asymptotically Gaussian under the proportional asymptotic regime. The resulting distributional characterization provides confidence intervals and hypothesis tests for individual features and enables false-discovery-rate-controlled variable selection. Extensive simulations examine calibration, power, and variable-selection performance under a range of covariance structures, including strongly correlated designs. An analysis of high-dimensional breast cancer gene-expression data illustrates how the proposed inference can distinguish statistically significant features from variables selected by the original sparse SVM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
7 figures