arXiv:2007.07127

Causal Inference using Gaussian Processes with Structured Latent Confounders

Sam Witty, Kenta Takatsu, David Jensen, Vikash Mansinghka

제출 2020-07-14

원문 초록

Latent confounders---unobserved variables that influence both treatment and outcome---can bias estimates of causal effects. In some cases, these confounders are shared across observations, e.g. all students taking a course are influenced by the course's difficulty in addition to any educational interventions they receive individually. This paper shows how to semiparametrically model latent confounders that have this structure and thereby improve estimates of causal effects. The key innovations are a hierarchical Bayesian model, Gaussian processes with structured latent confounders (GP-SLC), and a Monte Carlo inference algorithm for this model based on elliptical slice sampling. GP-SLC provides principled Bayesian uncertainty estimates of individual treatment effect with minimal assumptions about the functional forms relating confounders, covariates, treatment, and outcome. Finally, this paper shows GP-SLC is competitive with or more accurate than widely used causal inference techniques on three benchmark datasets, including the Infant Health and Development Program and a dataset showing the effect of changing temperatures on state-wide energy consumption across New England.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09645v2stat.ML공통 태그 Causal Inference, Gaussian Processes

방향 비순환 그래프 위의 심층 가우시안 과정

Deep Gaussian Processes on Directed Acyclic Graphs

많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.

arXiv:2607.03704v1cs.CL공통 태그 Causal Inference, Gaussian Processes

약물감시에서 인과성 평가를 위한 대규모 언어 모델 최적화: 베이지안 하이퍼파라미터 최적화의 목적 함수로서 성능 지표 개발

Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

배경: 개별 증례 안전성 보고서(ICSR) 물량의 증가로 확장 가능한 자동화 인과성 평가에 대한 수요가 높아지고 있다. 대규모 언어 모델(LLM)은 가능성을 보이지만, 임상적으로 까다로운 작업에서의 성능은 여전히 최적에 미치지 못하며, 추론 시점의 하이퍼파라미터 최적화는 아직 연구되지 않았다. 목적: 가우시안 프로세스(GP) 호환 최적화 목적 함수를 개발하고, 온도(temperature) 최적화가 FAERS ICSR의 Naranjo 인과성 평가에서 LLM과 전문가 간 일치도를 향상시키는지 조사한다. 방법: 층화 추출된 FAERS 723개 증례에 대해 전문가 인과성 평가를 수행하였다. OpenAI의 GPT-5.2를 사고의 연쇄(CoT) 프롬프팅으로 평가하였다. 네 가지 복합 지표를 개발하였다: 가중 코사인 유사도(WCS), 정보 가중 일치 점수(IWAS), 엔트로피 가중 일치 및 코사인 유사도 점수(EWACS), 합의 가중 코사인 유사도(CWCS). 또한 개선 확률(PoI) 획득 함수를 갖춘 GP 대리 모델을 이용한 베이지안 최적화를 온도 범위 [0, 2]에 적용하였다. 결과: GPT-5.2는 기준선(T = 0)에서 기존 바이오메디컬 LLM을 능가하여, Naranjo 알고리즘의 질문 5에서 74.1%, 질문 10에서 65.4%의 일치율을 달성하였다. 엔트로피 분석을 통해 이 두 항목이 유일하게 유의미한 최적화 대상임이 확인되었다. 온도는 집단 수준에서 체계적인 효과를 보이지 않았다(β = 0.002, p = 0.959). EWACS 기반 베이지안 최적화는 인과성 분류 일치율을 45.0%에서 72.0%로 개선하였으며(+27 pp), Doubtful 증례에서 가장 큰 향상이 나타났다(+42.9 pp). 결론: EWACS가 GP 호환 지표로서 최적임이 확인되었다. 범용 온도 최적값의 부재는 LLM 성능이 주로 ICSR 내용에 의해 결정됨을 시사하지만, 증례별 온도 선택은 의미 있는 개선을 가져왔으며, 이는 LLM 보조 약물감시에서 온도 최적화의 활용 가능성을 지지한다.

arXiv:2606.28228v3cs.LG공통 태그 Causal Inference

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2609.27593v2cs.LG공통 태그 Causal Inference

삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식

Hidden not Deleted: How Networks Suppress Entangled Features

신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.

arXiv:2610.01002v2cs.AI공통 태그 Causal Inference

유추는 인공의식에 대해 무엇을 말해줄 수 있는가?

What Can Analogy Tell Us About Artificial Consciousness?

누가 또는 무엇이 의식을 가지고 있는가? 주관적 경험은 1인칭 관점에서만 직접 접근할 수 있기 때문에, 다른 개체의 의식에 대한 판단은 부분적으로 유추(analogy)에 의존한다. 역사적으로 이러한 추론은 인간이 아닌 동물에 집중되어 왔으나, 인공지능(AI)의 발전으로 의식을 가진 AI의 가능성이 제기되었다. 본 논문에서는 이러한 증거적 유추를 평가하기 위한 인과적 프레임워크를 개발한다. 핵심적인 구분은 의식 생성에 관여할 가능성이 높은 요인들의 유사성과 하류(downstream) 행동 또는 인지적 효과에서의 유사성 사이의 차이다. 제안하는 프레임워크는 알려지지 않은 원인, 무력화 요인(disabling differences), 의식에 이르는 대안적 경로를 고려하면서 인과적 관련성에 따라 원천-목표(source-target) 유사성에 가중치를 부여한다. 생물학적 시스템에 적용했을 때, 이는 인간과의 인과적 거리가 멀어질수록 유추적 지지가 전반적으로 약화되는 이유를 설명한다. 현대 AI에 적용했을 때, 이는 관련 인과적 대응 관계가 여전히 명확히 확립되지 않았기 때문에 행동적 유사성만으로는 의식에 대한 제한적인 증거만을 제공함을 시사한다. 또한 이 프레임워크는 어떤 증거가 인공의식에 대한 주장을 강화할 수 있는지를 명확히 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.