arXiv:2301.02499

Evaluating counterfactual explanations using Pearl's counterfactual method

Bevan I. Smith

제출 2023-01-06

원문 초록

Counterfactual explanations (CEs) are methods for generating an alternative scenario that produces a different desirable outcome. For example, if a student is predicted to fail a course, then counterfactual explanations can provide the student with alternate ways so that they would be predicted to pass. The applications are many. However, CEs are currently generated from machine learning models that do not necessarily take into account the true causal structure in the data. By doing this, bias can be introduced into the CE quantities. I propose in this study to test the CEs using Judea Pearl's method of computing counterfactuals which has thus far, surprisingly, not been seen in the counterfactual explanation (CE) literature. I furthermore evaluate these CEs on three different causal structures to show how the true underlying causal structure affects the CEs that are generated. This study presented a method of evaluating CEs using Pearl's method and it showed, (although using a limited sample size), that thirty percent of the CEs conflicted with those computed by Pearl's method. This shows that we cannot simply trust CEs and it is vital for us to know the true causal structure before we blindly compute counterfactuals using the original machine learning model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.08295v4cs.AI공통 태그 counterfactual, Counterfactual Explanation

U-CECE: 개념적 반사실적 설명을 위한 범용 다중 해상도 프레임워크

U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations

AI 모델이 점차 복잡해짐에 따라 신뢰 구축을 위한 설명가능성(explainability)이 필수적이지만, 개념 기반 반사실적(counterfactual) 방법들은 여전히 표현력과 효율성 사이의 상충 관계(trade-off)에 직면해 있습니다. 기저 개념을 원자적 집합(atomic sets)으로 표현하는 것은 빠르지만 관계적 맥락을 놓치며, 완전한 그래프 표현은 더 충실하지만 NP-난해인 그래프 편집 거리(GED) 문제를 해결해야 합니다. 본 논문에서는 데이터 체제(data regime)와 연산 예산에 적응하는 개념적 반사실적 설명을 위한 통합형 모델 불가지론적(model-agnostic) 다중 해상도 프레임워크인 U-CECE를 제안합니다. U-CECE는 세 가지 수준의 표현력을 포괄합니다. 즉, 포괄적인 설명을 위한 원자적 개념, 단순한 상호작용을 위한 관계적 집합의 집합(sets-of-sets), 그리고 완전한 의미 구조를 위한 구조적 그래프입니다. 구조적 수준에서는 지도 학습 기반 그래프 신경망(GNN)을 활용하는 정밀도 지향 트랜스덕티브(transductive) 모드와 비지도 학습 기반 그래프 오토인코더(GAE)를 활용하는 확장 가능한 인덕티브(inductive) 모드를 모두 지원합니다. 구조적으로 상이한 CUB 및 Visual Genome 데이터셋에 대한 실험을 통해 각 수준별 효율성-표현력 상충 관계를 규명하였으며, 설문조사와 대규모 비전-언어 모델(LVLM) 기반 평가를 통해 CUB에서 검색된 구조적 반사실적 설명이 기준 결정론적 GED 기반 설명과 의미론적으로 동등하다고 평가되는 경우가 많고, 이를 능가하여 선호되기도 함을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.