arXiv:2402.10888

Explainability for Machine Learning Models: From Data Adaptability to User Perception

Julien Delaunay

제출 2024-02-16

원문 초록

This thesis explores the generation of local explanations for already deployed machine learning models, aiming to identify optimal conditions for producing meaningful explanations considering both data and user requirements. The primary goal is to develop methods for generating explanations for any model while ensuring that these explanations remain faithful to the underlying model and comprehensible to the users. The thesis is divided into two parts. The first enhances a widely used rule-based explanation method. It then introduces a novel approach for evaluating the suitability of linear explanations to approximate a model. Additionally, it conducts a comparative experiment between two families of counterfactual explanation methods to analyze the advantages of one over the other. The second part focuses on user experiments to assess the impact of three explanation methods and two distinct representations. These experiments measure how users perceive their interaction with the model in terms of understanding and trust, depending on the explanations and representations. This research contributes to a better explanation generation, with potential implications for enhancing the transparency, trustworthiness, and usability of deployed AI systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.08295v4cs.AI공통 태그 counterfactual, Counterfactual Explanation

U-CECE: 개념적 반사실적 설명을 위한 범용 다중 해상도 프레임워크

U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations

AI 모델이 점차 복잡해짐에 따라 신뢰 구축을 위한 설명가능성(explainability)이 필수적이지만, 개념 기반 반사실적(counterfactual) 방법들은 여전히 표현력과 효율성 사이의 상충 관계(trade-off)에 직면해 있습니다. 기저 개념을 원자적 집합(atomic sets)으로 표현하는 것은 빠르지만 관계적 맥락을 놓치며, 완전한 그래프 표현은 더 충실하지만 NP-난해인 그래프 편집 거리(GED) 문제를 해결해야 합니다. 본 논문에서는 데이터 체제(data regime)와 연산 예산에 적응하는 개념적 반사실적 설명을 위한 통합형 모델 불가지론적(model-agnostic) 다중 해상도 프레임워크인 U-CECE를 제안합니다. U-CECE는 세 가지 수준의 표현력을 포괄합니다. 즉, 포괄적인 설명을 위한 원자적 개념, 단순한 상호작용을 위한 관계적 집합의 집합(sets-of-sets), 그리고 완전한 의미 구조를 위한 구조적 그래프입니다. 구조적 수준에서는 지도 학습 기반 그래프 신경망(GNN)을 활용하는 정밀도 지향 트랜스덕티브(transductive) 모드와 비지도 학습 기반 그래프 오토인코더(GAE)를 활용하는 확장 가능한 인덕티브(inductive) 모드를 모두 지원합니다. 구조적으로 상이한 CUB 및 Visual Genome 데이터셋에 대한 실험을 통해 각 수준별 효율성-표현력 상충 관계를 규명하였으며, 설문조사와 대규모 비전-언어 모델(LVLM) 기반 평가를 통해 CUB에서 검색된 구조적 반사실적 설명이 기준 결정론적 GED 기반 설명과 의미론적으로 동등하다고 평가되는 경우가 많고, 이를 능가하여 선호되기도 함을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.