arXiv:2502.00501

Optimizing Feature Selection in Causal Inference: A Three-Stage Computational Framework for Unbiased Estimation

Tianyu Yang, Md. Noor-E-Alam

제출 2025-02-01

원문 초록

Feature selection is an important but challenging task in causal inference for obtaining unbiased estimates of causal quantities. Properly selected features in causal inference not only significantly reduce the time required to implement a matching algorithm but, more importantly, can also reduce the bias and variance when estimating causal quantities. When feature selection techniques are applied in causal inference, the crucial criterion is to select variables that, when used for matching, can achieve an unbiased and robust estimation of causal quantities. Recent research suggests that balancing only on treatment-associated variables introduces bias while balancing on spurious variables increases variance. To address this issue, we propose an enhanced three-stage framework that shows a significant improvement in selecting the desired subset of variables compared to the existing state-of-the-art feature selection framework for causal inference, resulting in lower bias and variance in estimating the causal quantity. We evaluated our proposed framework using a state-of-the-art synthetic data across various settings and observed superior performance within a feasible computation time, ensuring scalability for large-scale datasets. Finally, to demonstrate the applicability of our proposed methodology using large-scale real-world data, we evaluated an important US healthcare policy related to the opioid epidemic crisis: whether opioid use disorder has a causal relationship with suicidal behavior.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27256v1stat.ME공통 태그 Causal Inference, feature selection

조건부 공분산 순서화를 통한 함수적 인과 발견

Functional Causal Discovery via Conditional Covariance Ordering

본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.

arXiv:2607.10633v1cs.LG공통 태그 Causal Inference, feature selection

설명 가능한 머신러닝에서의 구성 개념 중첩 감사: 학생 코호트 간 번아웃-우울증 예측을 통한 실증 연구

Auditing Construct Overlap in Explainable Machine Learning: Evidence from Burnout-Depression Prediction Across Student Cohorts

복합 정신건강 결과에 적용된 설명 가능한 머신러닝(XML) 파이프라인은 겉으로는 강건하고 집단 간 안정적으로 보이는 위험 위계 구조를 산출할 수 있으나, 이는 대부분 결과 변수의 구성 방식에서 비롯된 인위적 산물이다. 우리는 로잔 대학교 의과대학생 886명(1차 코호트, 2022)에 ElasticNet 파이프라인을 적용하고, 세 시점에 걸친 2,580개의 종단 관측치 및 8개 학부 비의학 전공생 701명의 데이터로 검증함으로써 이를 실증한다. 세 데이터셋 모두 동일한 측정 도구를 사용한다. 이 파이프라인은 결과 변수가 측정되는 어느 상황에서든 특질 불안과 건강 만족도가 지배적인 위계를 산출하며, 모든 다섯 개 평가 세트에서 상위 두 순위에 대한 Kendall τ = 1.0을 보이고 일관된 전이 성능(R²: 0.41–0.49)을 나타낸다. 상관된 변수 간의 공유 분산을 회귀를 통해 분리하는 두 가지 잔차화(residualization) 실험을 통해 그 메커니즘이 밝혀진다. 특질 불안(STAI-T)을 함께 포함된 우울 하위척도(CES-D, r = 0.72)에 대해 잔차화하면 모델 R²가 0.41에서 0.16으로 하락하고 STAI-T의 순위는 1위에서 6위로 떨어진다. 번아웃 하위척도를 CES-D에 대해 잔차화하면 R²는 0.016으로 붕괴된다. 예측 구간은 0–100 척도에서 평균 35.4단위(결과 표준편차의 2.4배)로, 이는 개인 수준의 배포 가능성을 독립적으로 배제한다. 잔차화 프로토콜은 본 논문의 전이 가능한 기여이다. 상관된 예측 변수와 결과 구성 개념을 결합하는 모든 XAI 연구는 외견상의 안정성을 연구 결과로 해석하기 전에 이 검증을 적용해야 한다.

arXiv:2607.01959v1stat.ML공통 태그 Causal Inference, feature selection

단변량 시계열을 위한 자동 관련성 함수 및 기타 특징 관련성 측도

Autorelevance function and other feature relevance measures for univariate time series

본 논문에서는 단변량 시계열에 적용된 머신러닝 예측 모델에서 시차(lag) 관련성을 측정하기 위한 모델 비종속적(model agnostic) 방법론을 제안한다. 특히, 고스트 변수(Ghost variables)와 샤플리 값(Shapley values) 프레임워크, 그리고 가산적 중요도 측도(additive importance measures)를 함께 활용하여 시계열 맥락에서 자동 관련성 함수(auto-relevance function) 및 부분 자동 관련성 함수(partial auto-relevance function)를 시차 중요도 값으로 도입한다. 아울러, 연합 기반(coalition based) 방법에서 결측 특징(feature)을 동일 모델의 1단계 예측값으로 대체하는 새로운 방법을 제안한다. 다양한 시뮬레이션 및 실제 데이터 사례를 통해 제안된 방법들을 평가한다. 이러한 통합 프레임워크 관점은 시계열 분석에 특히 적합하다. 또한, 제안된 방법의 유효성을 입증하기 위해 계절성 ARMA 계열 모델(seasonal ARMA family)과 순환 신경망(recurrent neural networks)으로 구성된 모델(model) 집합을 활용한다. 계산된 관련성 측도는 거의 모든 경우에서 기대되는 시차 구조를 성공적으로 나타냄을 확인하였다.

arXiv:2607.01539v3cs.NE공통 태그 feature selection

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2609.27593v2cs.LG공통 태그 Causal Inference

삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식

Hidden not Deleted: How Networks Suppress Entangled Features

신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.

arXiv:2607.09645v2stat.ML공통 태그 Causal Inference

방향 비순환 그래프 위의 심층 가우시안 과정

Deep Gaussian Processes on Directed Acyclic Graphs

많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.