arXiv:2406.03209

Challenges and Considerations in the Evaluation of Bayesian Causal Discovery

Amir Mohammad Karimi Mamaghan, Panagiotis Tigas, Karl Henrik Johansson, Yarin Gal, Yashas Annadani, Stefan Bauer

제출 2024-06-05

원문 초록

Representing uncertainty in causal discovery is a crucial component for experimental design, and more broadly, for safe and reliable causal decision making. Bayesian Causal Discovery (BCD) offers a principled approach to encapsulating this uncertainty. Unlike non-Bayesian causal discovery, which relies on a single estimated causal graph and model parameters for assessment, evaluating BCD presents challenges due to the nature of its inferred quantity - the posterior distribution. As a result, the research community has proposed various metrics to assess the quality of the approximate posterior. However, there is, to date, no consensus on the most suitable metric(s) for evaluation. In this work, we reexamine this question by dissecting various metrics and understanding their limitations. Through extensive empirical evaluation, we find that many existing metrics fail to exhibit a strong correlation with the quality of approximation to the true posterior, especially in scenarios with low sample sizes where BCD is most desirable. We highlight the suitability (or lack thereof) of these metrics under two distinct factors: the identifiability of the underlying causal model and the quantity of available data. Both factors affect the entropy of the true posterior, indicating that the current metrics are less fitting in settings of higher entropy. Our findings underline the importance of a more nuanced evaluation of new methods by taking into account the nature of the true posterior, as well as guide and motivate the development of new evaluation procedures for this challenge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.07891v3stat.ML공통 태그 Causal Discovery공식 코드 · Papers with Code

잠재 변수를 가진 인과 구조의 관측적 부분 순서

The observational partial order of causal structures with latent variables

동일한 가시 변수(visible variable) 집합을 갖는 두 인과 구조에 대해, 첫 번째 구조로 실현 가능한 가시 변수 상의 분포 집합이 두 번째 구조로 실현 가능한 가시 변수 상의 분포 집합을 포함하면, 첫 번째 구조가 두 번째 구조를 관측적으로 지배(observationally dominate)한다고 한다. 이러한 지배 관계를 알면 관측 데이터가 주어졌을 때 이들 구조 중 어느 것이 적합한지 판별하는 데 유용하다. 본 연구에서는 잠재 변수(latent variable)를 가진 인과 구조의 동치류(equivalence class)들이 관측적 지배 관계에 대해 이루는 부분 순서를 결정하는 문제를 다룬다. 가시 변수가 세 개인 경우에는 지배 순서를 완전하게 규명하였고, 가시 변수가 네 개인 경우에는 부분적으로 규명하였다. 또한 우리의 기법은 어떤 관측적 동치류가 벨 부등식(Bell inequalities) 및 도구 부등식(instrumental inequalities)과 유사한 비자명한(nontrivial) 부등식 제약으로 실현 가능한 분포 집합이 특징지어지는지를 식별하는 데에도 도움이 된다. 가시 변수의 수가 늘어날수록 비자명한 부등식 제약을 만족하는 동치류가 어디에나 존재하게 된다는 증거를 발견하였다. (이러한 동치류는 양자적으로 실현 가능한 분포와 고전적으로 실현 가능한 분포 사이에 차이가 있을 수 있는 경우이므로, 이는 양자-고전 간극(quantum-classical gap)이 존재할 가능성 또한 어디에나 있음을 시사한다.) 나아가, 조건부 독립 제약에만 의존하는 제약 기반 인과 발견(causal discovery) 알고리즘은, 이를 넘어서는 알고리즘(즉, 중첩 마르코프(nested Markov) 제약과 부등식 제약도 함께 활용하는 알고리즘)에 비해 관측적 동치류를 구별하는 능력이 상당히 약하다는 증거도 발견하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.