인과적 사전 데이터 적합 신경망을 위한 사실적·반사실적 결과의 공동 학습
Joint Learning of Factual and Counterfactual Worlds for Causal Prior-data Fitted Networks
한국어 초록
처치 효과의 추정은 여러 과학 분야의 핵심 과제이며, 다른 조건이었을 때 어떤 결과가 나왔을지 반사실적으로 추론해야 한다. 하지만 현실에서는 각 단위가 실제로 놓인 조건에서의 결과만 관측할 수 있다. 따라서 실제 데이터로 학습하는 모델은 같은 단위의 사실적 결과와 반사실적 결과를 함께 학습할 수 없다. 두 조건의 결과를 모두 생성할 수 있는 합성 환경에서만 이를 다룰 수 있다. 최근 사전 데이터 적합 신경망(PFN)에 관한 연구는 합성 데이터로만 사전학습한 모델도 현실의 예측 문제로 전이할 수 있음을 보여 줬다. 이 방식은 인과 효과 추정에도 적용됐다. 그런데 기존 인과적 PFN은 전적으로 합성 데이터를 사용하면서도 현실의 제약을 학습 목적 함수에 그대로 적용한다. 각 단위에 대해 한 조건의 결과만 학습한다. 이 때문에 두 조건 사이의 의존 관계가 사라진다. 처치 효과의 밀도는 기본적으로 두 결과가 독립이라는 가정에 의존하지만 실제로는 이 가정이 성립하기 어렵다. 본 연구는 인과적 PFN이 각 단위의 사실적 결과와 반사실적 결과의 결합 분포를 학습하는 공동 학습 방식을 제안한다. 결합 분포에서 반응과 개별 처치 효과의 밀도를 모두 얻는다. 추론 시에는 단위 간 최적 수송을 적용해 평균 처치 효과의 밀도를 근사한다. 따라서 두 조건 사이의 의존 관계를 고려하면서 세 밀도를 함께 제공하는 첫 인과적 PFN 접근법이다. 기존 인과적 PFN에 공동 학습과 최적 수송을 적용하고, 다양한 인과 상황을 다루는 반합성, 합성, 실제 벤치마크에서 평가했다. 공동 학습 모델은 대부분의 설정에서 기준선보다 점추정과 불확실성 정량화 성능을 유의하게 개선했다. 이는 인과적 PFN에 공동 학습이 더 적합한 학습 방식임을 시사한다.
원문 초록
Estimating treatment effects is central to science across many disciplines and requires counterfactual reasoning about alternative worlds. In the real world, however, each unit reveals its outcome only under the factual world. Thus, the factual and counterfactual outcomes can never be jointly learned by any model trained on real data. The problem is therefore tractable only in synthetic settings, where both worlds can be generated. Recent progress on prior-data fitted networks (PFNs) has shown that models pre-trained purely on synthetic data can transfer to real-world prediction. This paradigm has since carried over to causal effect estimation. Despite this fully synthetic setup, existing causal PFNs carry the real-world constraint into their training objective, confining learning to a single world's outcome per unit. The dependence between the two worlds is thereby lost, and the density of the treatment effect relies by default on independence, which is implausible in practice. We therefore propose joint learning, a training setup in which a causal PFN learns the joint distribution of the factual and counterfactual outcomes of each unit. From the joint distribution, we obtain both the response and the individual treatment effect densities, and at inference, we apply optimal transport across units to obtain an approximation of the average treatment effect density. Ours is therefore the first causal PFN approach to provide all three densities together while accounting for the cross-world dependence. We apply joint learning and optimal transport to existing causal PFNs and evaluate it across semi-synthetic, synthetic, and real benchmarks spanning diverse causal scenarios. The jointly trained models significantly improve upon their baselines in point estimation and uncertainty quantification in most settings, indicating that joint learning is a preferable training setup for causal PFNs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19710v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.