Advancing Counterfactual Inference through Nonlinear Quantile Regression
원문 초록
The capacity to address counterfactual "what if" inquiries is crucial for understanding and making use of causal influences. Traditional counterfactual inference, under Pearls' counterfactual framework, typically depends on having access to or estimating a structural causal model. Yet, in practice, this causal model is often unknown and might be challenging to identify. Hence, this paper aims to perform reliable counterfactual inference based solely on observational data and the (learned) qualitative causal structure, without necessitating a predefined causal model or even direct estimations of conditional distributions. To this end, we establish a novel connection between counterfactual inference and quantile regression and show that counterfactual inference can be reframed as an extended quantile regression problem. Building on this insight, we propose a practical framework for efficient and effective counterfactual inference implemented with neural networks under a bi-level optimization scheme. The proposed approach enhances the capacity to generalize estimated counterfactual outcomes to unseen data, thereby providing an upper bound on the generalization error. Furthermore, empirical evidence demonstrates its superior statistical efficiency in comparison to existing methods. Empirical results conducted on multiple datasets offer compelling support for our theoretical assertions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
변동성 학습: 인과 표 형식 사전학습의 통계적 기초
Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.
teLLMe Why (Ain't Nothing but a Jam): 도시 운전 데이터의 탐색적 인과 분석
teLLMe Why (Ain't Nothing but a Jam): Exploratory Causal Analysis of Urban Driving Data
교통 관리 기관은 이제 안전과 혼잡 연구를 위해 대량의 영상 기반 데이터에 접근할 수 있다. 이러한 데이터의 대부분은 관찰 데이터이며 개입 없이 수집되므로, "비가 교통 밀도를 어떻게 변화시킬까?"와 같은 인과 질문에 답하기 어렵다. 우리는 도시 운전 데이터셋의 탐색적 인과 분석을 위한 시스템인 teLLMe를 제안한다. 이 시스템은 대시캠 주석으로 구축된 구조화된 이벤트 테이블에서 출발하여, PC 알고리즘을 이용한 인과 구조 학습, 부트스트랩 기반 안정성 검사, 선형 회귀 및 DoWhy를 이용한 쿼리별 효과 추정을 결합한다. 자연어 질문은 스키마 인지(schema-aware) LLM을 통해 구조화된 인과 쿼리로 매핑되어, 사용자가 처치(treatment), 결과(outcome), 하위 모집단(subpopulation)을 지정할 수 있게 한다. teLLMe는 효과 추정치, 조정 집합(adjustment set), 방향성 비순환 그래프(DAG) 지원, 가정을 요약하는 "Causal Card"를 반환하고, 이어 짧은 자연어 설명을 제공한다. BDD 기반 교통 이벤트에 대한 사례 연구는 이 시스템이 날씨, 피크 시간, 교통 밀도와 관련된 그럴듯한 관계를 드러낼 수 있으며, 불확실성과 모델링 선택을 명시적으로 보여줄 수 있음을 보여준다. 이 시스템은 확정적 인과 주장의 출처라기보다 가설 생성과 전문가 추론을 위한 도구로 설계되었다.
조건부 분포의 유연한 추정을 위한 병렬 그래디언트 부스팅
Parallel gradient boosting for flexible estimation of conditional distributions
부스팅은 표준 분류 및 회귀 작업에서 가장 성공적인 학습 기법 중 하나이다. 다중 출력 예측 문제로의 확장은 최근 몇 년간 점점 더 많은 응용을 찾고 있다. 그중 하나는 단일 함수형량이 아닌 전체 조건부 분포의 예측이며, 이는 종종 다중 출력 회귀 문제로 표현될 수 있다. 예를 들어 다중 분위수 회귀(multiple quantile regression)가 그렇다. 이러한 문제를 부스팅의 고전적 구현으로 다루는 것은 계산적으로 어렵다. 왜냐하면 보통 매 반복마다 각 목표(target)마다 하나의 기저 모델을 학습하기 때문이다. 학습 속도를 높이기 위해 더 효율적인 부스팅 변형들이 제안되었지만, 이들은 특정 손실 함수와 기저 학습기(base learner) 클래스, 보통 의사결정 트리에 종속되는 경향이 있다. 본 연구에서는 이러한 한계를 모두 우회하도록 설계된, 그래디언트 부스팅 알고리즘의 수정 버전인 병렬 그래디언트 부스팅(parallel gradient boosting)을 연구한다. 핵심 아이디어는 모든 학습 관측치에 대해 공통의 하강 방향(descent direction)을 사용하는 것이다. 이를 통해 목표의 수와 관계없이 각 반복마다 하나의 기저 모델만 필요하므로 상당한 성능 향상을 얻을 수 있다. 본 연구는 알고리즘의 수렴에 대한 충분 조건을 확립하며, 다중 분위수 회귀 설정을 통해 실용적 사용을 소개한다. 이러한 설정에서 본 방법은 XGBoost와 같은 최신 부스팅 라이브러리와 유사한 품질의 예측을 제공하면서도 수량급으로 더 빠름을 보인다. 그다음, 우리는 결과적으로 얻어지는 조건부 분포 추정량의 성질을 평가하며, 이 추정량은 특히 고차원 설정과 혼합 및/또는 결측 공변량이 존재하는 경우 다른 비모수 및 준모수 추정량들보다 우수함이 경험적으로 입증된다.
사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측
Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty
스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.
Learning Meta-path-aware Embeddings for Recommender Systems
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.