SBI: A Simulation-Based Test of Identifiability for Bayesian Causal Inference
원문 초록
A growing family of approaches to causal inference rely on Bayesian formulations of assumptions that go beyond causal graph structure. For example, Bayesian approaches have been developed for analyzing instrumental variable designs, regression discontinuity designs, and within-subjects designs. This paper introduces simulation-based identifiability (SBI), a procedure for testing the identifiability of queries in Bayesian causal inference approaches that are implemented as probabilistic programs. SBI complements analytical approaches to identifiability, leveraging a particle-based optimization scheme on simulated data to determine identifiability for analytically intractable models. We analyze SBI's soundness for a broad class of differentiable, finite-dimensional probabilistic programs with bounded effects. Finally, we provide an implementation of SBI using stochastic gradient descent, and show empirically that it agrees with known identification results on a suite of graph-based and quasi-experimental design benchmarks, including those using Gaussian processes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
방향 비순환 그래프 위의 심층 가우시안 과정
Deep Gaussian Processes on Directed Acyclic Graphs
많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.
스코어 매칭을 통한 베이지안 실험 설계
Bayesian Experimental Design via Score Matching
베이지안 실험 설계(BED)에 대한 정책 기반 접근법은 이전에 수집된 데이터를 바탕으로 지능적인 설계 결정을 적응적으로 내리는 심층 정책 네트워크의 학습을 가능하게 한다. 그러나 이러한 정책의 학습은 기대 정보 이득(EIG)의 이중 난해성(double intractability)이라는 근본적인 문제로 인해 제약을 받는 경우가 많다. 이로 인해 정책 자체의 최적화에 투자할 수 있는 노력을 제한하는, 비용이 크거나 복잡한 근사 방법이 요구된다. 이를 해결하기 위해, 우리는 EIG의 이중 난해성을 정책 학습으로부터 분리할 수 있음을 보인다. 구체적으로, 사용되는 정책에 독립적인 스코어 매칭 문제를 먼저 풀고, 학습된 스코어 근사를 활용하여 단일 난해한(singly intractable) 방식으로 정책을 학습한다. 이를 통해 핵심적인 곱셈적 비용이 덧셈적 비용으로 전환되고, 정책 학습 자체의 계산 부담이 경감되어, 아키텍처 탐색, 하이퍼파라미터 튜닝, 또는 지역 최적해 회피 등 정책을 여러 번 학습해야 하는 경우에 훨씬 저렴하게 학습할 수 있다. 실험에서는 가능도 평가에서 곱셈적 비용을 유발하지 않고 여러 경쟁력 있는 정책을 학습하였으며, 하이퍼파라미터 또는 아키텍처 탐색 없이도 최적의 정책을 선택할 수 있어 성능을 향상시킬 수 있음을 보였다.
Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting
약물감시에서 인과성 평가를 위한 대규모 언어 모델 최적화: 베이지안 하이퍼파라미터 최적화의 목적 함수로서 성능 지표 개발
Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization
배경: 개별 증례 안전성 보고서(ICSR) 물량의 증가로 확장 가능한 자동화 인과성 평가에 대한 수요가 높아지고 있다. 대규모 언어 모델(LLM)은 가능성을 보이지만, 임상적으로 까다로운 작업에서의 성능은 여전히 최적에 미치지 못하며, 추론 시점의 하이퍼파라미터 최적화는 아직 연구되지 않았다. 목적: 가우시안 프로세스(GP) 호환 최적화 목적 함수를 개발하고, 온도(temperature) 최적화가 FAERS ICSR의 Naranjo 인과성 평가에서 LLM과 전문가 간 일치도를 향상시키는지 조사한다. 방법: 층화 추출된 FAERS 723개 증례에 대해 전문가 인과성 평가를 수행하였다. OpenAI의 GPT-5.2를 사고의 연쇄(CoT) 프롬프팅으로 평가하였다. 네 가지 복합 지표를 개발하였다: 가중 코사인 유사도(WCS), 정보 가중 일치 점수(IWAS), 엔트로피 가중 일치 및 코사인 유사도 점수(EWACS), 합의 가중 코사인 유사도(CWCS). 또한 개선 확률(PoI) 획득 함수를 갖춘 GP 대리 모델을 이용한 베이지안 최적화를 온도 범위 [0, 2]에 적용하였다. 결과: GPT-5.2는 기준선(T = 0)에서 기존 바이오메디컬 LLM을 능가하여, Naranjo 알고리즘의 질문 5에서 74.1%, 질문 10에서 65.4%의 일치율을 달성하였다. 엔트로피 분석을 통해 이 두 항목이 유일하게 유의미한 최적화 대상임이 확인되었다. 온도는 집단 수준에서 체계적인 효과를 보이지 않았다(β = 0.002, p = 0.959). EWACS 기반 베이지안 최적화는 인과성 분류 일치율을 45.0%에서 72.0%로 개선하였으며(+27 pp), Doubtful 증례에서 가장 큰 향상이 나타났다(+42.9 pp). 결론: EWACS가 GP 호환 지표로서 최적임이 확인되었다. 범용 온도 최적값의 부재는 LLM 성능이 주로 ICSR 내용에 의해 결정됨을 시사하지만, 증례별 온도 선택은 의미 있는 개선을 가져왔으며, 이는 LLM 보조 약물감시에서 온도 최적화의 활용 가능성을 지지한다.
연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성
Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts
시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.