In Defense of the Indefensible: A Very Naive Approach to High-Dimensional Inference
원문 초록
A great deal of interest has recently focused on conducting inference on the parameters in a high-dimensional linear model. In this paper, we consider a simple and very na\"{i}ve two-step procedure for this task, in which we (i) fit a lasso model in order to obtain a subset of the variables, and (ii) fit a least squares model on the lasso-selected set. Conventional statistical wisdom tells us that we cannot make use of the standard statistical inference tools for the resulting least squares model (such as confidence intervals and $p$-values), since we peeked at the data twice: once in running the lasso, and again in fitting the least squares model. However, in this paper, we show that under a certain set of assumptions, with high probability, the set of variables selected by the lasso is identical to the one selected by the noiseless lasso and is hence deterministic. Consequently, the na\"{i}ve two-step approach can yield asymptotically valid inference. We utilize this finding to develop the \emph{na\"ive confidence interval}, which can be used to draw inference on the regression coefficients of the model selected by the lasso, as well as the \emph{na\"ive score test}, which can be used to test the hypotheses regarding the full-model regression coefficients.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색
Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows
AI 정신건강 대화를 통한 수동적 우울증 심각도 추정을 위한 대규모 언어 모델(LLM) 파인튜닝
Fine-tuning LLMs for Passive Depression Severity Estimation from AI Mental Health Dialogue
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
IID를 넘어서: 표 형식 파운데이션 모델은 실제로 얼마나 일반적인가?
Beyond IID: How General Are Tabular Foundation Models, Really?
신경 공액 집계: 이종 센서 바이어스 하에서 식별 가능한 비지도 다중 센서 회귀
Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias
본 논문에서는 여러 개의 노이즈와 바이어스가 존재하는 측정 소스를 활용할 수 있지만 학습(training) 중에는 정답 레이블(ground-truth labels)이 제공되지 않는 불확실성 하에서의 회귀 기반 데이터 융합을 연구한다. 이러한 설정은 지도(supervision)가 큰 비용을 요구하거나 실현 불가능한 센서 네트워크, 시뮬레이션 앙상블, 과학적 모니터링 시스템에서 발생한다. 우리는 비지도 다중 소스 융합을 위해 신경망과 공액 가우시안 추론(inference)을 결합한 계층적 베이지안 프레임워크인 신경 공액 집계 모델(Neural Conjugate Aggregation Model, NCAM)을 제안한다. NCAM은 문맥적 공변량에 조건화된 소스별 바이어스와 신뢰도를 학습하여, 인식론적(epistemic) 및 우연적(aleatoric) 불확실성이 분해된 잠재 목표 변수에 대해 해석적으로 다룰 수 있는 사후분포를 도출한다. 구조적 비식별성은 센서 앵커링과 분산 정규화(regularization)를 통해 해결되어 안정적이고 해석 가능한 사후 집계를 가능하게 한다. 베이지안 불확실성을 유한 표본 보장으로 보완하기 위해, 국소 적응형 몬테카를로 등각 예측(Monte Carlo conformal prediction)을 통합하여 교환 가능성(exchangeability) 가정 하에서 커버리지 보장을 제공하는 이분산 예측 구간을 생성한다. 합성 및 실제 대기질 데이터셋에 대한 실험을 통해 평균 집계, 확률적 PCA, 칼만 필터링(Kalman filtering)을 포함한 비지도 베이스라인 대비 향상된 예측 정확도와 잘 보정된 불확실성을 입증한다.
테이블탑 RPG 게임 디자인에서 몬스터 레벨 예측을 위한 머신러닝 적용
Application of machine learning to monster level prediction in tabletop RPG game design
균형 잡힌 적대 캐릭터를 설계하는 것은 테이블탑 롤플레잉 게임(TTRPG) 개발에서 핵심적이면서도 노동 집약적인 작업이다. Pathfinder와 같은 시스템에서 각 몬스터는 그 힘을 요약한 순서형 레벨로 표현되는 수많은 수치 속성으로 기술된다. 본 연구에서는 몬스터의 속성으로부터 이 레벨을 예측하는 태스크를 테이블형 순서형 회귀(tabular ordinal regression)로 정의하여, 머신러닝이 디자이너를 지원할 수 있는지 조사한다. 우리는 공개된 Pathfinder Second Edition 데이터에서 도출한, 본 연구가 아는 한 TTRPG 몬스터 레벨 예측을 위해 특별히 구축된 최초의 데이터셋을 소개한다. 이를 활용하여 반올림 방식을 적용한 고전적 회귀 모델, 전용 테이블형 순서형 회귀 알고리즘, 순서 인식 손실을 사용하는 신경망을 비교한다. 실제 디자인 워크플로를 반영하기 위해, 여러 보완적 지표와 함께 시간 순서 및 확장 윈도우 프로토콜 하에서 모든 모델을 평가한다. 결과적으로 트리 기반 앙상블이 선형 모델 및 신경망 방식보다 우수한 성능을 보이며, 거의 완벽한 순서형 랭킹과 높은 예측 정확도를 달성하였다. 특징 중요도 및 오류 분포와 같은 설명 가능한 AI(Explainable AI) 분석은 모델이 인간의 직관과 일치하며 게임 규칙에 기반한 패턴을 따름을 보여준다. 이러한 결과들은 머신러닝이 디자이너의 판단을 신뢰성 있게 근사하고 몬스터 밸런싱 및 더 넓은 TTRPG 시스템 설계를 위한 효과적인 컴퓨터 지원 도구로 기능할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.