arXiv:2306.09520

Ensembled Prediction Intervals for Causal Outcomes Under Hidden Confounding

Myrl G. Marmarelis, Greg Ver Steeg, Aram Galstyan, Fred Morstatter

제출 2023-06-15

원문 초록

Causal inference of exact individual treatment outcomes in the presence of hidden confounders is rarely possible. Recent work has extended prediction intervals with finite-sample guarantees to partially identifiable causal outcomes, by means of a sensitivity model for hidden confounding. In deep learning, predictors can exploit their inductive biases for better generalization out of sample. We argue that the structure inherent to a deep ensemble should inform a tighter partial identification of the causal outcomes that they predict. We therefore introduce an approach termed Caus-Modens, for characterizing causal outcome intervals by modulated ensembles. We present a simple approach to partial identification using existing causal sensitivity models and show empirically that Caus-Modens gives tighter outcome intervals, as measured by the necessary interval size to achieve sufficient coverage. The last of our three diverse benchmarks is a novel usage of GPT-4 for observational experiments with unknown but probeable ground truth.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 Causal Inference, Sensitivity

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.27976v2stat.ML공통 태그 Sensitivity, Conformal Prediction

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2609.27221v1cs.LG공통 태그 Sensitivity, Conformal Prediction

컨포멀 타원체를 위한 꼬리 인식 기하학 학습

Tail-Aware Geometry Learning for Conformal Ellipsoids

본 논문에서는 유한 표본 커버리지 보장을 제공하는 분포 무관(distribution-free) 불확실성 정량화(uncertainty quantification) 프레임워크인 다변량 컨포멀 예측(CP)을 연구한다. 다변량 예측 집합의 효율성은 부적합도 점수(nonconformity score)로 인코딩된 잔차 기하학에 결정적으로 의존하지만, 기존의 최소 부피 방법들은 꼬리 잔차의 심각성을 무시하고 기하학 학습을 커버리지 수준과 암묵적으로 결합하는 분위수 임계값에 의존한다. 본 연구에서는 기하학 학습에서의 꼬리 민감도를 최종 커버리지 보장과 분리하는 컨포멀 타원체 대상의 꼬리 인식(tail-aware) 기하학 학습 프레임워크를 제안한다. 2분할(two-split) 설계를 사용하여, 추정 분할 상에서 CVaR 제약 조건 하의 부피 최소화를 통해 메트릭 행렬을 학습한 다음, 홀드아웃된 보정 분할 상에서 표준 컨포멀 보정을 적용한다. 결과로 도출되는 문제는 볼록(convex) 문제이며, 잔차가 큰 샘플을 우선시하는 유계 재가중(bounded-reweighting) 해석을 허용한다. 나아가 타원체 부피와 꼬리 심각도 간의 트레이드오프를 이론적으로 규명한다. 실험 결과는 제안된 방법의 효과를 입증한다.

arXiv:2607.22640v1cs.CY공통 태그 Causal Inference, Sensitivity

All of Us Research Program에서 주관적 인지 어려움의 환경·심리사회적 결정요인에 대한 AI 보조 인과 추론 및 매개 분석

AI-Assisted Causal Inference and Mediation Analyses of Environmental and Psychosocial Determinants of Subjective Cognitive Difficulties in the All of Us Research Program

단기 환경 노출은 인지 및 행동 결과와 연관된 것으로 보고되었지만, 많은 보고된 연관성은 더 넓은 지리적·맥락적 차이를 반영할 수 있다. All of Us Research Program(2018--2024)의 종단 데이터를 사용하여, 일별 기상 및 대기오염 노출을 반복 측정된 주의력 관련 및 주관적 인지 결과와 연결했다. 연관성은 pooled, 고정효과(fixed-effects), 시차(lagged), 이벤트 연구(event-study) 분석을 사용하여 평가했다. 잠재적 이질성과 잠재 심리사회적 구조를 탐색하기 위해 추가적인 머신러닝 분석을 수행했다. 2024 Behavioral Risk Factor Surveillance System(BRFSS)을 사용하여 재현 분석을 수행했다. 여러 환경 노출 지표는 pooled 분석에서 인지 결과와 작은 연관성을 보였지만, 대부분은 위치 내 시간적 변이를 통제한 후 상당히 약화되었다. 매개, 민감도, 머신러닝 분석은 유사한 결론을 도출했다. 반면, 정신건강 부담, 외로움, 사회적 기능은 주관적 인지 어려움과 일관되게 연관되어 있었으며 환경 노출보다 실질적으로 더 큰 효과 크기를 보였다. BRFSS에서도 유사한 패턴이 관찰되었다. 탐색적 AI 보조 분석은 1차 종단 분석과 대체로 일치하는 결과를 도출했다. 이 결과는 위치 내 변이를 통제한 후 단기 환경 교란은 인지 결과와 제한적인 연관성을 가질 수 있음을 시사하는 반면, 심리사회적 요인은 주관적 인지 부담과 더 일관되게 연관되는 것으로 보인다.

arXiv:2607.05620v1cs.LG공통 태그 Causal Inference, Conformal Prediction

반사실적 정책을 활용한 안전 베이지안 최적화

Safe Bayesian Optimization with Counterfactual Policies

많은 의사결정 환경에서, 새로운 개입은 결과가 어떤 확립된 임계값 이하로 떨어지지 않는 경우에만 허용될 수 있다. 예를 들어, 임상 의학에서 새로운 치료법은 확립된 표준 치료 대비 결과를 악화시키지 않는 경우에만 허용되는 것이 일반적이다. 안전 베이지안 최적화(Safe Bayesian optimization)는 안전 제약 조건을 만족하면서 목적 함수를 최대화한다. 본 연구에서 고려하는 설정에서 안전성은, 결과가 반사실적이어서 관측되지 않는 알려진 기준선(baseline) 정책에 상대적으로 정의된다. 따라서 기준선 정책의 반사실적 결과를 추정해야 하며, 그 불확실한 추정치를 활용하여 목적 함수를 안전하게 최적화해야 한다. 우리는 등각 예측(conformal prediction)을 사용하여 반사실적 기준선 결과에 대한 유효한 불확실성 구간을 구성함으로써 이 추정 문제를 해결하고, 해당 구간을 안전 베이지안 최적화에 통합하여 제약 위반이 사용자가 지정한 비율 이하로 발생하도록 보장하는 방법을 제시한다. 또한 이러한 등각 추정치를 다양한 종류의 공변량 이동(covariate shift)에 적응시키는 방법도 보여준다. 안전성 증명, 실험적 증거, 민감도 분석을 함께 제공한다.

arXiv:2607.03161v1stat.ML공통 태그 Causal Inference, Conformal Prediction

조건부 평균 처리 효과 예측의 신뢰 가능한 선택을 위한 잡음 제거 컨포멀 정렬

Denoised Conformal Alignment for Reliable Selection of Conditional Average Treatment Effect Predictions

선택적 배포에서 실무자들은 예측된 조건부 평균 처리 효과(CATE)를 기반으로 모델이 선택한 개인 부분집합에 대해서만 개입을 수행하지만, 주변부 컨포멀(conformal) 보장은 해당 선택된 부분집합에서의 신뢰성을 반드시 통제하지 않는다. 우리는 블랙박스 CATE 예측기에 대한 신뢰 가능한 선택 문제를 연구한다: CATE 오차가 허용 한계 이하인 후보들을 선택하면서 거짓 발견율(FDR)을 통제하는 것이다. CATE 오차는 관측 불가능하므로, 유사 결과(pseudo-outcome)로부터 이중 견고(doubly robust) 대리 오차를 구성한다. 그러나 이분산성(heteroskedasticity) 하에서 분산이 신뢰성 신호를 압도하기 때문에 단순한 대리 오차는 검정력을 잃을 수 있다. 우리는 추정된 조건부 분산 성분을 차감하고 컨포멀 보정과 Benjamini--Hochberg 선택을 결합하는 잡음 제거 컨포멀 정렬(Denoised Conformal Alignment)을 제안한다. 우리의 분석은 유효성이 분산 추정기의 점별 완벽성이 아닌 대리/오라클 임계 레이블의 안정성에 의해 결정됨을 보인다. 실험 결과, 어려운 환경 전반에 걸쳐 FDR 통제를 유지하면서 검정력이 실질적으로 향상됨을 확인하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.