arXiv:2609.24126v1 stat.ML

LOCO 기반 적응형 미니패치 샘플링을 통한 모델 비의존적 특징 선택

Model-Agnostic Feature Selection via LOCO-Guided Adaptive Minipatch Sampling

Xuhui Liu, Lili Zheng

제출 2026-09-22

한국어 초록

블랙박스 머신러닝 모델은 점차 강력한 예측 성능을 제공하고 있지만, 중요한 특징(feature)의 집합과 같이 모델로부터 유용한 정보를 추출하는 일은 여전히 어렵습니다. 기존의 모델 비의존적(model-agnostic) 방법은 주로 특징 중요도를 추정하거나 이에 대한 추론(inference)을 수행할 뿐 특징을 직접 선택하지는 않으며, 많은 특징 선택 방법은 특정 모델에 종속적이거나 model-X 가정에 의존합니다. 본 논문에서는 임의의 블랙박스 회귀 알고리즘을 기본 학습기로 사용하여 응답 변수 예측에 중요한 특징을 선택하는 모델 비의존적 앙상블(ensemble) 프레임워크인 LOCO-guided Adaptive Minipatch Sampling(LAMPS)을 제안합니다. 기본 학습기는 예측값만 생성하면 되며, 스스로 특징 선택을 수행할 필요는 없습니다. LAMPS는 관측치와 특징을 모두 부분 샘플링하는 미니패치 앙상블 프레임워크 내에서 동작하므로, 하나의 공변량을 제외하는(leave-one-covariate-out, LOCO) 방식의 특징 중요도 점수를 손쉽게 계산할 수 있습니다. 또한 탐험(exploration)을 유지하면서 LOCO 점수가 높은 특징에 미니패치 샘플링을 적응적으로 집중시킵니다. 그 결과로 얻어지는 샘플링 확률은 몇 번의 반복만으로 신호 특징과 잡음 특징을 빠르게 분리하며, 이를 통해 단순한 임계값 설정만으로 특징을 선택할 수 있습니다. 본 논문은 기본 예측 모델이 평균적으로 충분히 잘 학습되어 있다면, LAMPS가 고차원 환경에서 정확한 특징 선택(exact feature selection)을 달성함을 이론적으로 증명합니다. 합성 데이터와 실제 데이터에 대한 폭넓은 실험을 통해 LAMPS가 최신 특징 선택 방법들보다 우수한 성능을 보이며, 특히 특징 간 상관관계가 있는 경우에 더욱 강력한 성능을 나타냄을 확인했습니다.

원문 초록

Black-box machine learning models increasingly deliver strong predictions, but extracting useful information from them, such as a set of important features, remains challenging. Existing model-agnostic methods primarily estimate feature importance or conduct inference on it rather than directly selecting features, whereas many feature selection methods are model-specific or rely on the model-X assumption. We introduce LOCO-guided Adaptive Minipatch Sampling (LAMPS), a model-agnostic ensemble framework that uses any black-box regression algorithm as its base learner to select features important for predicting the response. The base learner need only produce predictions and need not perform feature selection itself. LAMPS operates within a minipatch ensemble framework that subsamples both observations and features, allowing leave-one-covariate-out (LOCO) feature importance scores to be easily computed. It adaptively concentrates minipatch sampling on features with high LOCO scores while maintaining exploration. The resulting sampling probabilities rapidly separate signal from noise features after a few iterations, enabling selection through simple thresholding. We establish that LAMPS achieves exact feature selection in high-dimensional settings, provided that the base predictive models are sufficiently well trained on average. Extensive experiments on synthetic and real data show that LAMPS outperforms state-of-the-art feature selection methods, with particularly strong performance in the presence of correlated features.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24126v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.