arXiv:2410.01093

High-dimensional logistic regression with missing data: Imputation, regularization, and universality

Kabir Aladin Verchand, Andrea Montanari

제출 2024-10-01

원문 초록

We study high-dimensional, ridge-regularized logistic regression in a setting in which the covariates may be missing or corrupted by additive noise. When both the covariates and the additive corruptions are independent and normally distributed, we provide exact characterizations of both the prediction error as well as the estimation error. Moreover, we show that these characterizations are universal: as long as the entries of the data matrix satisfy a set of independence and moment conditions, our guarantees continue to hold. Universality, in turn, enables the detailed study of several imputation-based strategies when the covariates are missing completely at random. We ground our study by comparing the performance of these strategies with the conjectured performance -- stemming from replica theory in statistical physics -- of the Bayes optimal procedure. Our analysis yields several insights including: (i) a distinction between single imputation and a simple variant of multiple imputation and (ii) that adding a simple ridge regularization term to single-imputed logistic regression can yield an estimator whose prediction error is nearly indistinguishable from the Bayes optimal prediction error. We supplement our findings with extensive numerical experiments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 regression, Prediction

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2610.02397v1cs.LG공통 태그 regression, Imputation

미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과

Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result

전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.

arXiv:2609.27654v1stat.ML공통 태그 regression, Prediction

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

arXiv:2607.22875v1cs.LG공통 태그 regression, Prediction

Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측

Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks

토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.

arXiv:2607.22700v1cs.AI공통 태그 regression, Prediction

RoleMix: 의미 토큰화를 통한 순차·비순차 특징 통합 기반 클릭 후 전환율 예측

RoleMix: Unifying Sequential and Non-Sequential Features via Semantic Tokenization for Post-Click Conversion Rate Prediction

클릭 후 전환율(PCVR) 예측은 산업용 추천의 핵심이지만, 희소하고 순서 없는 다중 필드 특징과 긴 도메인 특화 행동 이력 간의 구조적 불일치로 인해 여전히 어려움이 남아 있다. 기존 모델들은 이러한 신호를 별도 경로로 처리한 뒤 후기에 융합하는 경우가 많아, 의미론적 역할을 약화시키고 교차 신호 정제를 제한한다. 우리는 순차 및 비순차 증거를 공유된 역할 보존 토큰 인터페이스를 통해 표현하는 통합 상호작용 아키텍처인 RoleMix를 제안한다. 비순차 필드는 사용자, 아이템, 쌍(pairwise), 밀집(dense), 맥락적, 교차 특징 역할을 보존하는 명시적 의미 토큰으로 변환되며, 긴 행동 도메인은 2단계 계층적 윈도우 어텐션을 통해 아이템 및 맥락 인식 시퀀스-쿼리 토큰으로 압축된다. 그 결과 생성된 전역, 의미, 시퀀스-쿼리 토큰은 PCVR 예측을 위해 쌓인 UniMixing-Lite 블록에 의해 공동으로 정제된다. 대규모 KDD Cup 2026 Tencent UniRec Challenge에서 RoleMix는 83.648%의 온라인 AUC를 달성하여, 공식 산업 기준선을 1.953%p 초과한다. 어블레이션 연구는 의미 토큰화가 가장 큰 단독 성능 향상을 가져옴을 보여주며, 대규모 PCVR 모델링의 핵심 원칙을 강조한다: 토큰 인터페이스 수준에서 필드 의미론을 보존하는 것은 상호작용 백본을 스케일링하는 것만큼 중요하다.

arXiv:2607.22399v1stat.ML공통 태그 regression, Prediction

유한 궤적로부터 에르고딕 동역학 시스템 학습

Learning Ergodic Dynamical Systems from a Finite Trajectory

우리는 에르고딕(ergodic) 확률적 동역학 시스템의 단일 유한 궤적로부터 학습하는 문제를 고려한다. 더 구체적으로, 시간 동질(time-homogeneous) 마르코프(Markov) 과정을 정의하는 이산 시간 자율 확률 시스템을 연구한다. 먼저 비선형 최소자승법(nonlinear least squares)으로 최적 1-단계 예측 함수를 추정하고, 과정의 불변 측도(invariant measure)에 대해 측정된 높은 확률 보장(high-probability guarantees)을 도출한다. 이러한 결과는 궤적 데이터의 비독립적·비동일분포적 특성이 고전적 통계적 학습 분석을 어떻게 수정하는지를 명시적으로 보여준다. 그런 다음 이 프레임워크를 고차 시스템과 유한 상태 공간으로 확장한다. 마지막으로, 동일한 최소자승법과 농도(concentration) 논증이 쿠프만 연산자(Koopman operator) 학습으로 자연스럽게 확장됨을 보인다. 우리의 접근법은 통계적 학습 이론과 마르코프 사슬에 대한 정량적 에르고딕 이론의 도구를 결합한다. 특히, 균일 기하학적 에르고딕(uniformly geometrically ergodic) 마르코프 사슬의 힐베르트 공간 값 가법 함수(additive functional)에 대한 농도 부등식(concentration inequality)에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.