arXiv:2306.06506

Calculating and Visualizing Counterfactual Feature Importance Values

Bjorge Meulemeester, Raphael Mazzine Barbosa de Oliveira, David Martens

제출 2023-06-10

원문 초록

Despite the success of complex machine learning algorithms, mostly justified by an outstanding performance in prediction tasks, their inherent opaque nature still represents a challenge to their responsible application. Counterfactual explanations surged as one potential solution to explain individual decision results. However, two major drawbacks directly impact their usability: (1) the isonomic view of feature changes, in which it is not possible to observe \textit{how much} each modified feature influences the prediction, and (2) the lack of graphical resources to visualize the counterfactual explanation. We introduce Counterfactual Feature (change) Importance (CFI) values as a solution: a way of assigning an importance value to each feature change in a given counterfactual explanation. To calculate these values, we propose two potential CFI methods. One is simple, fast, and has a greedy nature. The other, coined CounterShapley, provides a way to calculate Shapley values between the factual-counterfactual pair. Using these importance values, we additionally introduce three chart types to visualize the counterfactual explanations: (a) the Greedy chart, which shows a greedy sequential path for prediction score increase up to predicted class change, (b) the CounterShapley chart, depicting its respective score in a simple and one-dimensional chart, and finally (c) the Constellation chart, which shows all possible combinations of feature changes, and their impact on the model's prediction score. For each of our proposed CFI methods and visualization schemes, we show how they can provide more information on counterfactual explanations. Finally, an open-source implementation is offered, compatible with any counterfactual explanation generator algorithm. Code repository at: https://github.com/ADMAntwerp/CounterPlots

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27180v1stat.ML공통 태그 Prediction, counterfactual

치료 전후 데이터를 이용한 치료 효과 추정을 위한 인공지능 대리(surrogate)

Artificial intelligence surrogates for treatment effect estimation with before-and-after data

임상적으로 중요한 결과를 측정하는 데 비용이 많이 들거나 장기 추적관찰이 필요한 경우, 의학적 치료의 인과 효과를 추정하기는 어렵다. 단기적이거나 비용이 적은 대리(surrogate) 결과는 잠재적 대안을 제공하지만, 대리 바이오마커는 이용할 수 없거나 식별하기 어려울 수 있다. 인공지능(AI)의 발전은 값싸고 고차원인 측정값으로부터 임상 결과를 점점 더 정확하게 예측할 수 있게 했으며, 이는 AI 예측 자체를 대리 변수로 사용할 기회를 만든다. 이를 위해 우리는 각 치료 받은 개인에 대해 치료 전후에 얻은 쌍체 측정값으로부터 치료 효과를 추정하는 프레임워크를 개발한다. 사전학습된 AI 모델을 치료 전후 측정값에 적용하고, 우리의 추정량은 그로부터 얻은 결과 예측을 비교한다. 우리는 이러한 개인 내(within-person) 대비가 어떤 기술적 가정 하에서 처치 받은 집단에 대한 평균 처치 효과를 식별하는지를 특성화하며, 치료 받은 개인에 대해 임상 결과가 전혀 관측되지 않는 경우에도 해당한다. 이러한 가정을 정당화할 수 없을 때, 우리는 소수의 관측된 임상 결과를 사용해 바이어스를 보정하는 예측 기반 추론(prediction-powered inference)을 사용하고 유효한 추론을 얻는다. 합성 및 실제 심장-종양(cardio-oncology) 실험은 이 접근법의 타당성과 정확성을 보여준다.

arXiv:2607.20065v1cs.AI공통 태그 Prediction, counterfactual

TRUST-ESD: 불확실성 하에서 기업 전략적 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 AI 프레임워크

TRUST-ESD: A Risk-Calibrated and Governance-Aware AI Framework for Enterprise Strategic Decision Support Under Uncertainty

기업 전략적 의사결정 지원을 위해서는 정확할 뿐만 아니라 불확실성 인식, 위험 보정, 설명 가능, 거버넌스 준수가 가능한 AI 시스템이 필요하다. 본 논문은 불확실성 하의 기업 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 프레임워크인 TRUST-ESD를 제안한다. TRUST-ESD는 예측적 효용 추정, conformal 불확실성 보정, CVaR 기반 하방 위험 점수화, 위험 메모리 검색, policy-as-code 거버넌스, 설명 가능성, 인간 감독을 통해 실행 가능한 반사실적(counterfactual) 전략을 평가한다. 최대 기대 효용으로 행동을 선택하는 예측 전용 방법과 달리, TRUST-ESD는 가치, 신뢰성, 위험 노출, 준수를 균형 있게 고려한 전략을 권고한다. 실험 결과, TRUST-ESD는 강력한 불확실성 인식 기준선 대비 위험 조정 효용을 7.95% 향상하고, 위험 노출을 23.22% 감소하며, CVaR을 23.78% 감소하고, 보정 오차를 13.89% 낮추며, 설명 충실도를 10.90% 향상하고, 거버넌스 준수율을 9.76% 높이는 동시에 경쟁력 있는 예측 정확도를 유지한다. Ablation 및 사례 연구 분석은 불확실성 보정, 하방 위험 점수화, 위험 메모리, 설명 가능성, 거버넌스 검증이 공동적으로 신뢰할 수 있는 기업 의사결정을 개선함을 추가로 확인한다.

arXiv:2607.09502v1cs.LG공통 태그 Prediction, counterfactual

모든 설명은 틀렸지만 많은 설명은 유용하다: 대규모 언어 모델을 활용한 라쇼몽 설명 집합 탐색

All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models

머신러닝 모델을 설명하는 일은 의사결정과 소비자 신뢰 측면에서 점점 더 중요해지고 있으나, 기존의 설명 가능한 AI(XAI) 방법들은 정확도-설명가능성 트레이드오프라는 고질적인 문제를 안고 있다고 널리 알려져 있다. 우리는 이 트레이드오프가 근본적인 것이 아니라, 설명과 예측을 별개의 목표로 취급한 데서 비롯된 부산물임을 주장한다. 둘을 적절히 결합하면 상호 보완적이 되어, 모델이 스스로를 설명할 수 있도록 갖추는 것이 정확도를 저하시키는 것이 아니라 오히려 향상시킨다. 우리는 라쇼몽 설명(Rashomon Explanation) 패러다임을 제안하는데, 이는 단일 설명 대신 충실하고 예측을 안내하는 설명들의 집합을 구성하며, 이 집합이 일반적으로 비어 있지 않음을 증명하고 설명 충실도가 그것이 안내하는 모델의 성능에 상한을 부여함을 증명한다. 이 집합을 탐색하기 위해 우리는 RashomonLLM을 제안한다. 이는 설명-예측-반성(Explanation-Prediction-Reflection) 에이전트 워크플로우로, 자연어로 설명을 생성하면서 예측과 반복적으로 정렬시키며, 이것이 수렴하고 전체 집합을 복원함을 증명한다. 대규모 라이브 스트리밍 로그에 대한 고객 이탈 분류, 임상 생존 회귀, 산업용 클릭률 예측 전반에 걸쳐, RashomonLLM은 정확도와 설명 품질 모두에서 최신 예측 및 XAI 베이스라인을 크게 능가하며, 이 성능 향상은 설명 충실도에 의해 주도되고 분포 이동, 시간적 분할, 시드에 대해 강건하다. 따라서 우리의 프레임워크는 비즈니스 성능을 향상시키는 동시에 소비자 신뢰의 토대를 마련한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.