Autotune: Lasso를 위한 빠르고 정확한 자동 튜닝 매개변수 선택
Autotune: fast, accurate, and automatic tuning parameter selection for Lasso
한국어 초록
고차원 회귀에서 널리 쓰이는 변수 선택 엔진인 Lasso(Least absolute shrinkage and selection operator)는 보통 교차 검증(CV)으로 튜닝됩니다. 이 방식은 느리고, 고차원·저신호 대 잡음비(SNR) 설정에서는 정확도가 떨어지는 것으로 알려져 있습니다. 벡터 자기회귀(VAR)처럼 시계열 교차 검증(TSCV)으로 튜닝하는 고차원 시계열 모델에서는 이런 문제가 더 커집니다. 본 논문은 한 번의 Lasso 적합 과정에서 계산되는 편잔차(partial residuals)에 담긴 정보를 이용해 Lasso가 스스로 자동으로 튜닝되게 하는 전략 $\texttt{autotune}$을 제안합니다. 이 전략은 노이즈 표준편차와 관련 예측 변수의 열 공간(column space)을 번갈아 추정하는 것으로도 볼 수 있습니다. 회귀 및 VAR 모델에 대한 수치 실험에서 $\texttt{autotune}$은 기존 대안보다 빠르고, SNR이 낮을 때 더 정확했습니다. 또한 노이즈 스케일의 정확한 추정량과 모델 희소성을 점검하기 위한 스크리 플롯(scree plot)과 유사한 진단 플롯을 제공합니다. 여러 실제 데이터셋에서 $\texttt{autotune}$의 이점을 보였으며, CRAN에서 이용할 수 있는 R 패키지를 개발했습니다.
원문 초록
Least absolute shrinkage and selection operator (Lasso), the popular variable selection engine for high-dimensional regression, is commonly tuned using cross-validation (CV). This is known to be slow and loses accuracy in high-dimension, low signal-to-noise ratio (SNR) settings. These issues are exacerbated for high-dimensional time series models such as the vector autoregression (VAR), where time series cross-validaiton (TSCV) is used for tuning. We propose $\texttt{autotune}$, a strategy for the Lasso to tune itself automatically by exploiting information contained in partial residuals computed during a single Lasso fit. The strategy can also be viewed as alternately estimating noise standard deviation and column space of relevant predictors. Numerical experiments on regression and VAR models show that $\texttt{autotune}$ is faster than existing alternatives, and more accurate when the SNR is low. It also provides an accurate estimator of noise scale and diagnostic plots akin to screeplots for checking model sparsity. We demonstrate the benefit of $\texttt{autotune}$ on several real data sets and develop an R package available on CRAN.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.11139v4제출 시각 미확인
- arXiv:2512.11139v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.