arXiv:2602.16568v2 math.ST

Separating Oblivious and Adaptive Models of Variable Selection

Ziyun Chen, Jerry Li, Kevin Tian, Yusong Zhu

제출 2026-02-18

원문 초록

Sparse recovery is among the most well-studied problems in learning theory and high-dimensional statistics. In this work, we investigate the statistical and computational landscapes of sparse recovery with $\ell_\infty$ error guarantees. This variant of the problem is motivated by \emph{variable selection} tasks, where the goal is to estimate the support of a $k$-sparse signal in $\mathbb{R}^d$. Our main contribution is a provable separation between the \emph{oblivious} (``for each'') and \emph{adaptive} (``for all'') models of $\ell_\infty$ sparse recovery. We show that under an oblivious model, the optimal $\ell_\infty$ error is attainable in near-linear time with $\approx k\log d$ samples, whereas in an adaptive model, $\gtrsim k^2$ samples are necessary for any algorithm to achieve this bound. This establishes a surprising contrast with the standard $\ell_2$ setting, where $\approx k \log d$ samples suffice even for adaptive sparse recovery. We conclude with a preliminary examination of a \emph{partially-adaptive} model, where we show nontrivial variable selection guarantees are possible with $\approx k\log d$ measurements.

요약

고차원 희소 복원(sparse recovery)에서 ℓ∞ 오차 보장과 변수 선택(variable selection)의 통계·계산 복잡도를 분석하고, oblivious(for each) 모델에서는 약 k log d 샘플로 거의 선형 시간에 최적 ℓ∞ 오차를 달성할 수 있지만 adaptive(for all) 모델에서는 동일한 수준을 위해 약 k² 샘플이 필요함을 증명해 ℓ2 설정과 대비된다. 부분적 적응(partially-adaptive) 모델에서는 약 k log d 측정으로도 의미 있는 변수 선택 보장이 가능함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.16568v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.29104v1stat.CO공통 태그 Dimensionality Reduction, feature selection, Variable Selection

spca: 최소 제곱 희소 주성분 분석을 위한 R 패키지

spca: An R package to Compute Least Squares Sparse Principal Components

이 논문은 최소 제곱 희소 주성분 분석(LS-SPCA)을 위한 계산 프레임워크를 제공하는 R 패키지 spca를 소개한다. 다른 SPCA 방법들과 달리, LS-SPCA는 표준 주성분(PC)과의 강한 상관관계를 유지하면서 설명 분산을 효과적으로 최대화하는 비상관(uncorrelated) 희소 주성분(sPC)을 생성한다. 또한 이 프레임워크는 LS-SPCA 최적 sPC보다 낮은 카디널리티(cardinality)를 가지면서 동등하거나 더 높은 분산을 설명하는, 약한 상관관계의 sPC를 생성하는 더 계산 효율적인 변형도 포함한다. spca 패키지는 행렬 연산을 위한 효율적인 C++ 백엔드(tall 행렬과 fat 행렬에 대한 별도 엔진 포함)와 유연한 R 프론트엔드로 구성된다. 사용자 인터페이스는 sPC 계산을 위한 다양한 옵션을 제공하며, 누적 설명 분산 또는 PC와의 R² 임계값 도달 시 희소화(sparsification)를 중단할지 여부 결정, 변수 선택 시 단순 전진 선택(forward selection), 단계적 전진 선택(stepwise forward selection), 후진 제거(backward elimination) 중 선택 등을 지원한다. print(), summary(), plot() 메서드 외에도, 패키지는 서로 다른 "spca" 솔루션 비교, 희소 로딩(sparse loading) 그룹화, 외부 SPCA 솔루션을 "spca" 객체로 변환하는 도구를 포함한다. 이 논문은 실제 데이터셋을 활용해 일반적인 LS-SPCA 워크플로에서의 패키지 사용법을 시연하고, LS-SPCA와 기존 SPCA 솔루션을 간략히 비교한다. 이어서 동일 데이터셋에서 얻은 서로 다른 LS-SPCA 솔루션들을 비교하고, 마지막으로 대형 tall 및 fat 행렬에서의 spca 성능을 논의하여, spca가 해석 가능한 sPC 계산을 위한 계산 효율적인 대안임을 보인다.

arXiv:2609.32176v2cs.LG공통 태그 feature selection, sparse recovery

더 적은 측정으로 희소 선형 분류기 혼합 모델의 효율적인 지지집합 복원

Efficient Support Recovery of Mixtures of Sparse Linear Classifiers with Fewer Measurements

선형 분류기 혼합 모델에서의 지지집합 복원(support recovery) 문제는 데이터가 여러 선형 결정 규칙의 혼합으로 생성될 때 기저 결정 규칙과 관련된 특징(feature)을 식별하는 것을 목표로 합니다. 특히, 부호 측정값(sign measurement)으로부터 $l$개의 미지의 $k$-희소(k-sparse) 벡터들의 지지집합(0이 아닌 좌표)을 복원하는 것이 목표입니다. 각 측정은 $l$개의 벡터 중 하나를 균등하게 무작위로 선택하고, 선택된 측정 벡터와의 내적 부호를 반환함으로써 생성됩니다. 본 논문에서는 측정 횟수를 줄이는 동시에 서브리니어(sublinear) 복호화 시간을 달성하여 기존 결과를 대폭 개선하는 적응형(adaptive) 및 비적응형(non-adaptive) 스킴을 제안합니다. 특히, 제안하는 적응형 구조는 기존 접근 방식에 비해 측정을 실질적으로 줄이면서도 복호화 복잡도를 주변 차원(ambient dimension) 기준 초이차(super-quadratic)에서 서브리니어로 낮춥니다. 또한 효율적인 복호화를 유지하면서 이전의 측정 한계를 개선하는 비적응형 스킴도 제공합니다. 종합적으로, 본 연구의 접근 방식은 기존에 알려진 방법들과 비교하여 혼합 모델의 지지집합 복원에 대해 샘플 복잡도와 복호화 시간 간에 더 효율적인 절충안을 제공합니다.

arXiv:2609.22333v1cs.CV공통 태그 Dimensionality Reduction, feature selection

설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소

Dimensionality reduction for AI based hyperspectral image classification based on XAI

본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.

arXiv:2607.20578v1cs.LG공통 태그 feature selection, sparse recovery

Fisher 너비: 국소 학습 기하와 이방성 복원

Fisher Widths: Local Learning Geometry and Anisotropic Recovery

통계적 다양체(statistical manifold) 위에서 가우시안 너비(Gaussian-width) 복잡도를 두 함수형 쌍을 통해 연구한다: Fisher 계량(Fisher metric)에 의해 유도되는 원시(primal) Fisher 너비 $w_G(T) = w(G^{1/2}T)$, 그리고 역 Fisher 계량(inverse Fisher metric)에 의해 유도되는 역-Fisher 너비 $w_{G^{-1}}(T) = w(G^{-1/2}T)$. 두 너비는 상보적인 통계적 역할을 한다. 학습 측면에서 Fisher 너비는 Fisher 정보에 의해 유도된 기하에서 국소 매개변수 변동의 크기를 측정한다. Fisher-정규 손실(Fisher-regular losses)에 대해, 충분히 작은 Fisher 볼(Fisher balls) 위에서 척도 \(w_G(H_r)/\sqrt n\)이 달성됨을 증명한다. 복원 측면에서 역-Fisher 너비는 역 Fisher 정보에 의해 공분산이 결정되는 이방성 가우시안 측정의 효과를 포착한다. 희소 복원(sparse recovery)의 경우, 결과 기하는 희소성뿐만 아니라 Fisher 스펙트럼에서 활성 좌표(active coordinates)의 위치에도 의존한다. 우리는 해당 통계 차원(statistical dimension)에 대한 양측 추정(two-sided estimate)을 얻으며, 지지(support) 민감 복원 추정과 서로 다른 곡률 프로파일(curvature profiles)을 가진 지지들의 자연스러운 순서(ordering)를 함께 제시한다. 마지막으로, 원시 Fisher 너비와 역-Fisher 너비 사이의 날카로운 관계를 확립한다. 임의의 공통 컴팩트 좌표 집합 $T$에 대해, 다음을 만족한다: \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] 따라서 Fisher 이방성(anisotropy)은 한 기하에서 다른 기하로 복잡도를 전달할 수 있지만, 유클리드 척도(Euclidean scale)에 상대적으로 두 너비를 모두 줄일 수는 없다.

arXiv:2607.08123v1stat.ME공통 태그 Dimensionality Reduction, high-dimensional statistics

부분적으로 공유된 부분공간을 통한 고차원 스파이크 공분산 행렬의 결합 추정

Joint estimation of high-dimensional spiked covariance matrices via a partially shared subspace

고차원 데이터의 통계적 분석은 종종 제한된 표본 크기로 인해 어려움을 겪지만, 관련 출처의 보조 데이터셋은 흔히 손쉽게 구할 수 있다. 두 데이터셋이 공분산 구조의 일부를 공유하되 전부는 아닌 경우, 공유된 부분을 활용하면 추정을 크게 개선할 수 있다. 우리는 이러한 부분적 공유를 명시적으로 포착하는 스파이크 공분산 모델을 제안한다: 두 데이터셋은 알려지지 않은 랭크(rank)와 스펙트럼 내 임의의 위치를 가진 부분공간(subspace)을 공유하면서, 각각 고유한 스파이크 방향(spiked directions)을 유지한다. 이 모델은 두 데이터셋을 대칭적으로 처리하며, 공유 공분산 구조에 대한 기존 모델들을 엄밀하게 일반화한다. 우리는 공유 부분공간과 그 랭크의 결합 추정, 두 데이터셋을 결합하기 위한 폐쇄형(closed-form) 풀링 가중치, 그리고 비례 성장 체계(proportional-growth regime)에서 랜덤 행렬 이론으로부터 도출된 점근적 보장을 포함하는 완전한 추정 절차를 개발한다. 또한 이 프레임워크는 고차원 설정에 대한 원칙적인 추정량(estimator)을 제공함으로써 대조적 차원 축소(contrastive dimension reduction)의 공백을 해소한다. 우리는 COVID-19 팬데믹 초기의 포트폴리오 구성과 뇌종양 유전자 발현의 대조 분석에 이 방법론을 적용하여 설명한다.

arXiv:2607.06368v1econ.EM공통 태그 feature selection, high-dimensional statistics

요인 증강 머신러닝 패널 회귀

Factor-Augmented Machine Learning Panel Regressions

이 논문은 공통 충격에 의해 유발된 횡단면 의존 오차가 존재하는 환경에서의 고차원 패널 데이터 회귀에 대한 점근 이론을 개발한다. 우리는 MIDAS 집계와 잠재 요인을 결합한 요인 증강 희소 그룹 LASSO(sparse-group LASSO) 추정량을 고려한다. 이 추정량은 시계열 차원에서의 혼합 빈도 그룹 구조를 활용할 수 있다. 이론적으로, 횡단면 의존성을 허용하면서도 예측과 추정 모두에서 표준 LASSO 추정량을 능가할 수 있음을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.