arXiv:2011.05466

Incorporating Causal Effects into Deep Learning Predictions on EHR Data

Jia Li, HaoYu Yang, Xiaowei Jia, Vipin Kumar, Michael Steinbach, Gyorgy Simon

제출 2020-11-11

원문 초록

Electronic Health Records (EHR) data analysis plays a crucial role in healthcare system quality. Because of its highly complex underlying causality and limited observable nature, causal inference on EHR is quite challenging. Deep Learning (DL) achieved great success among the advanced machine learning methodologies. Nevertheless, it is still obstructed by the inappropriately assumed causal conditions. This work proposed a novel method to quantify clinically well-defined causal effects as a generalized estimation vector that is simply utilizable for causal models. We incorporated it into DL models to achieve better predictive performance and result interpretation. Furthermore, we also proved the existence of causal information blink spots that regular DL models cannot reach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.28228v3cs.LG공통 태그 Causal Inference

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2610.01002v2cs.AI공통 태그 Causal Inference

유추는 인공의식에 대해 무엇을 말해줄 수 있는가?

What Can Analogy Tell Us About Artificial Consciousness?

누가 또는 무엇이 의식을 가지고 있는가? 주관적 경험은 1인칭 관점에서만 직접 접근할 수 있기 때문에, 다른 개체의 의식에 대한 판단은 부분적으로 유추(analogy)에 의존한다. 역사적으로 이러한 추론은 인간이 아닌 동물에 집중되어 왔으나, 인공지능(AI)의 발전으로 의식을 가진 AI의 가능성이 제기되었다. 본 논문에서는 이러한 증거적 유추를 평가하기 위한 인과적 프레임워크를 개발한다. 핵심적인 구분은 의식 생성에 관여할 가능성이 높은 요인들의 유사성과 하류(downstream) 행동 또는 인지적 효과에서의 유사성 사이의 차이다. 제안하는 프레임워크는 알려지지 않은 원인, 무력화 요인(disabling differences), 의식에 이르는 대안적 경로를 고려하면서 인과적 관련성에 따라 원천-목표(source-target) 유사성에 가중치를 부여한다. 생물학적 시스템에 적용했을 때, 이는 인간과의 인과적 거리가 멀어질수록 유추적 지지가 전반적으로 약화되는 이유를 설명한다. 현대 AI에 적용했을 때, 이는 관련 인과적 대응 관계가 여전히 명확히 확립되지 않았기 때문에 행동적 유사성만으로는 의식에 대한 제한적인 증거만을 제공함을 시사한다. 또한 이 프레임워크는 어떤 증거가 인공의식에 대한 주장을 강화할 수 있는지를 명확히 밝힌다.

arXiv:2606.28273v2cs.CL공통 태그 Causal Inference

비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

비전-언어 모델은 시각적 증거와 기억된 세계 지식이 충돌할 때 이 둘을 조화시켜야 한다. 이러한 충돌을 어떻게 해결하는지는 멀티모달 시스템의 신뢰성을 좌우하지만, 기존 연구는 구성요소 수준의 인과적 설명 없이 이를 행동적으로만 특성화했다. 우리는 세 가지 세분성(잔차 스트림, 어텐션 헤드, MLP 서브레이어)에 걸친 activation patching, 모델 구성요소 절제(ablation) 연구, 기계론적 분석을 결합한다. 세 가지 VLM 계열에서 시각적 그라운딩(visual grounding)은 기본적으로 나타나는 반면, 사전 그라운딩(prior grounding)은 네트워크 후반부에 집중된 인과적으로 필수적인 소수의 어텐션 헤드(2.5–4.8%)에 의존함을 발견했다. 이러한 헤드는 충돌하는 시각 입력에도 불구하고 저장된 세계 지식(예: 딸기에 대해 "red")에 기반한 답을 가능하게 한다. 사전지식 프롬프트 하에서 이들을 절제하면 68–96%의 경우 지식-그라운딩된 예측이 시각적으로 그라운딩된 답으로 뒤집히지만, 시각적으로 그라운딩된 예측은 0.8–7.5%만 변화시켜 비대칭적 인과 구조를 확립한다. 식별된 헤드는 정보 흐름을 조절하는 라우팅 헤드(routing heads)와 잔차 스트림에 답 토큰을 직접 투사하는 쓰기 헤드(writing heads)로 분해된다. 이 구조는 모델 계열과 스케일 전반에 걸쳐 일관되며, VLM에서 지각-지식 충돌을 뒷받침하는 희소 인과 회로를 드러낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.