arXiv:2310.10559

Causal Dynamic Variational Autoencoder for Counterfactual Regression in Longitudinal Data

Mouad El Bouchattaoui, Myriam Tami, Benoit Lepetit, Paul-Henry Cournède

제출 2023-10-16

원문 초록

Estimating treatment effects over time is relevant in many real-world applications, such as precision medicine, epidemiology, economy, and marketing. Many state-of-the-art methods either assume the observations of all confounders or seek to infer the unobserved ones. We take a different perspective by assuming unobserved risk factors, i.e., adjustment variables that affect only the sequence of outcomes. Under unconfoundedness, we target the Individual Treatment Effect (ITE) estimation with unobserved heterogeneity in the treatment response due to missing risk factors. We address the challenges posed by time-varying effects and unobserved adjustment variables. Led by theoretical results over the validity of the learned adjustment variables and generalization bounds over the treatment effect, we devise Causal DVAE (CDVAE). This model combines a Dynamic Variational Autoencoder (DVAE) framework with a weighting strategy using propensity scores to estimate counterfactual responses. The CDVAE model allows for accurate estimation of ITE and captures the underlying heterogeneity in longitudinal data. Evaluations of our model show superior performance over state-of-the-art models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26290v1stat.ML공통 태그 regression, counterfactual

변동성 학습: 인과 표 형식 사전학습의 통계적 기초

Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining

인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.

arXiv:2607.21131v1cs.LG공통 태그 regression, Epidemiology

Risk Graph Neural Network를 통한 인구통계 정보 기반 온열-사망 위험 곡선

Demographically-Informed Heat-Mortality Risk Curves via Risk Graph Neural Networks

온열 관련 사망 위험을 추정하는 것은 환경 역학의 핵심 과제이며, 일반적으로 분산 지연 비선형 모델(DLNM, Distributed Lag Non-linear Models)로 다룬다. DLNM은 온도-사망 시계열에 적합한 해석 가능한 노출-반응 표면(exposure-response surfaces)이다. DLNM은 효과적이지만, 온열 취약성과의 관련성이 잘 확립되어 있음에도 불구하고 인구통계학적·지리적 맥락을 무시한다. 우리는 Risk Graph Neural Networks(RGNN)를 제안한다. 이는 세분화된 인구조사(census) 특성을 사용하여 DLNM 계수 벡터를 최적화하는 계층적 GNN(그래프 신경망) 인코더로, 해석 가능한 위험 곡선 출력을 유지하면서 예측 보정(calibration)을 상당히 개선한다. 잉글랜드와 웨일스 10개 지역, 전례 없는 두 온열 연도에 걸쳐 평가한 결과, RGNN 변형은 기준선(baseline)이 붕괴하는 2022년 폭염 기간 동안 더 낮은 점 추정 오차와 거의 명목상(nominal)의 불확실성 커버리지를 모두 유지했다.

arXiv:2607.15254v1cs.AI공통 태그 regression, counterfactual

teLLMe Why (Ain't Nothing but a Jam): 도시 운전 데이터의 탐색적 인과 분석

teLLMe Why (Ain't Nothing but a Jam): Exploratory Causal Analysis of Urban Driving Data

교통 관리 기관은 이제 안전과 혼잡 연구를 위해 대량의 영상 기반 데이터에 접근할 수 있다. 이러한 데이터의 대부분은 관찰 데이터이며 개입 없이 수집되므로, "비가 교통 밀도를 어떻게 변화시킬까?"와 같은 인과 질문에 답하기 어렵다. 우리는 도시 운전 데이터셋의 탐색적 인과 분석을 위한 시스템인 teLLMe를 제안한다. 이 시스템은 대시캠 주석으로 구축된 구조화된 이벤트 테이블에서 출발하여, PC 알고리즘을 이용한 인과 구조 학습, 부트스트랩 기반 안정성 검사, 선형 회귀 및 DoWhy를 이용한 쿼리별 효과 추정을 결합한다. 자연어 질문은 스키마 인지(schema-aware) LLM을 통해 구조화된 인과 쿼리로 매핑되어, 사용자가 처치(treatment), 결과(outcome), 하위 모집단(subpopulation)을 지정할 수 있게 한다. teLLMe는 효과 추정치, 조정 집합(adjustment set), 방향성 비순환 그래프(DAG) 지원, 가정을 요약하는 "Causal Card"를 반환하고, 이어 짧은 자연어 설명을 제공한다. BDD 기반 교통 이벤트에 대한 사례 연구는 이 시스템이 날씨, 피크 시간, 교통 밀도와 관련된 그럴듯한 관계를 드러낼 수 있으며, 불확실성과 모델링 선택을 명시적으로 보여줄 수 있음을 보여준다. 이 시스템은 확정적 인과 주장의 출처라기보다 가설 생성과 전문가 추론을 위한 도구로 설계되었다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2610.02480v2cs.AI공통 태그 counterfactual

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2609.26142v2stat.ME공통 태그 counterfactual

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.