단일 로버스트 적합으로부터 증류된 희소 회귀
Sparse Regression Distilled from a Single Robust Fit
한국어 초록
로버스트 선형 적합(robust linear fit)은 반응 변수의 오염에 저항할 수 있지만, 유용한 전역적 설명을 제공하기에는 너무 조밀(dense)하거나 불안정할 수 있습니다. 본 연구에서는 안전장치가 적용된 좌표 강하(coordinate-descent) 경로를 따라 로버스트한 초기 추정량의 경험적 적합 곡면에 SCAD(smoothly clipped absolute deviation) 추정량을 적합하고, 후보 상태들을 충실도(fidelity), 간결성(parsimony), 섭동 안정성(perturbation stability), 홀드아웃 예측(held-out prediction) 측면에서 개별적으로 평가하는 페널티화 증류(penalized distillation)를 제안합니다. 새로운 이론적 결과들은 알고리즘이 실제로 계산하는 상태들에 적용됩니다. 오염되지 않은 고정된 설계를 조건으로 할 때, 결정론적 한계(deterministic bounds)는 초기 적합의 반응 변수 대체 유계성(response-replacement boundedness)을 유지된 모든 경로 상태로 전이합니다. 고정 차원의 경우, 경험적 그람(Gram) 투영과 영향 함수(influence function)를 통해 오라클 지지 집합(oracle-support) 가지를 특성화하고, 공분산 가중 최소제곱 근사 동치성에 대한 조건을 제시하며, 경로 조건부 일반화 정보 기준을 확립합니다. 반면, 표본 대비 차원의 비율이 큰 경우 전체 좌표 로버스트 적합이 예고 없이 붕괴되는데, 스크리닝(screening)이 이러한 구성을 복원합니다. 확정적 스크리닝(sure-screening) 프레임워크 하에서 로버스트성 한계와 지지 집합 및 선택 보장은 스크리닝된 적합으로 전이됩니다. 시뮬레이션에서는 p가 최대 240에 이르는 표본 대비 차원 비율과 신호 밀도 전반에 걸쳐 로버스트성 전이를 지지 집합 복구, 효율성 및 계산과 분리하여 분석함으로써, 스크리닝이 과다 선택(over-select)되었을 때 희소화 단계가 기여하는 바를 분리해 냅니다. 중복 그룹화된 초전도성 연구에서, 증류된 추정량은 사전에 지정된 학습(training) 반응 변수 변화 하에서도 예측 안정성을 유지하지만 81개 기울기 중 66.8~68.8개를 유지합니다. 더 강력한 희소화를 적용하면 모델(model)을 12.6~14.0개의 기울기로 줄일 수 있으나 눈에 띄는 충실도 및 예측 손실이 발생합니다. 따라서 증류는 해당 데이터에서 간결한 좌표 수준의 설명을 입증하지는 못하면서도 예측 안정성을 보존합니다.
원문 초록
Robust linear fits can resist response contamination yet remain too dense or unstable for useful global explanations. We propose penalized distillation, which fits a smoothly clipped absolute deviation (SCAD) estimator to a robust initial estimator's empirical fitted surface along a safeguarded coordinate-descent path and evaluates candidate states separately for fidelity, parsimony, perturbation stability, and held-out prediction. The new results attach to the states the algorithm actually computes. Conditional on a fixed uncontaminated design, deterministic bounds transfer response-replacement boundedness from the initial fit to every retained path state. Turning to fixed dimension, we characterize the oracle-support branch by its empirical-Gram projection and influence function, give conditions for covariance-weighted least-squares approximation equivalence, and establish a path-conditional generalized information criterion. By contrast, at large dimension-to-sample ratios the full-coordinate robust fit collapses without warning, and screening restores the construction. Under a sure-screening framework, the robustness bound and the support and selection guarantees transfer to the screened fit. Simulations separate robustness transfer from support recovery, efficiency, and computation across the dimension-to-sample ratio, with p up to 240, and the signal density, which isolates what the sparse stage adds once the screen over-selects. In a duplicate-grouped superconductivity study, the distilled estimator remains predictively stable under prespecified training-response shifts but retains 66.8--68.8 of 81 slopes. Stronger sparsification reduces the model to 12.6--14.0 slopes only at visible fidelity and prediction cost. Distillation therefore preserves predictive stability on these data without substantiating a compact coordinate-level explanation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23937v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.