arXiv:2010.10596

Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A Review

Sahil Verma, Varich Boonsanong, Minh Hoang, Keegan E. Hines, John P. Dickerson, Chirag Shah

제출 2020-10-20

원문 초록

Machine learning plays a role in many deployed decision systems, often in ways that are difficult or impossible to understand by human stakeholders. Explaining, in a human-understandable way, the relationship between the input and output of machine learning models is essential to the development of trustworthy machine learning based systems. A burgeoning body of research seeks to define the goals and methods of explainability in machine learning. In this paper, we seek to review and categorize research on counterfactual explanations, a specific class of explanation that provides a link between what could have happened had input to a model been changed in a particular way. Modern approaches to counterfactual explainability in machine learning draw connections to the established legal doctrine in many countries, making them appealing to fielded systems in high-impact areas such as finance and healthcare. Thus, we design a rubric with desirable properties of counterfactual explanation algorithms and comprehensively evaluate all currently proposed algorithms against that rubric. Our rubric provides easy comparison and comprehension of the advantages and disadvantages of different approaches and serves as an introduction to major research themes in this field. We also identify gaps and discuss promising research directions in the space of counterfactual explainability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.08295v4cs.AI공통 태그 counterfactual, Counterfactual Explanation

U-CECE: 개념적 반사실적 설명을 위한 범용 다중 해상도 프레임워크

U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations

AI 모델이 점차 복잡해짐에 따라 신뢰 구축을 위한 설명가능성(explainability)이 필수적이지만, 개념 기반 반사실적(counterfactual) 방법들은 여전히 표현력과 효율성 사이의 상충 관계(trade-off)에 직면해 있습니다. 기저 개념을 원자적 집합(atomic sets)으로 표현하는 것은 빠르지만 관계적 맥락을 놓치며, 완전한 그래프 표현은 더 충실하지만 NP-난해인 그래프 편집 거리(GED) 문제를 해결해야 합니다. 본 논문에서는 데이터 체제(data regime)와 연산 예산에 적응하는 개념적 반사실적 설명을 위한 통합형 모델 불가지론적(model-agnostic) 다중 해상도 프레임워크인 U-CECE를 제안합니다. U-CECE는 세 가지 수준의 표현력을 포괄합니다. 즉, 포괄적인 설명을 위한 원자적 개념, 단순한 상호작용을 위한 관계적 집합의 집합(sets-of-sets), 그리고 완전한 의미 구조를 위한 구조적 그래프입니다. 구조적 수준에서는 지도 학습 기반 그래프 신경망(GNN)을 활용하는 정밀도 지향 트랜스덕티브(transductive) 모드와 비지도 학습 기반 그래프 오토인코더(GAE)를 활용하는 확장 가능한 인덕티브(inductive) 모드를 모두 지원합니다. 구조적으로 상이한 CUB 및 Visual Genome 데이터셋에 대한 실험을 통해 각 수준별 효율성-표현력 상충 관계를 규명하였으며, 설문조사와 대규모 비전-언어 모델(LVLM) 기반 평가를 통해 CUB에서 검색된 구조적 반사실적 설명이 기준 결정론적 GED 기반 설명과 의미론적으로 동등하다고 평가되는 경우가 많고, 이를 능가하여 선호되기도 함을 입증했습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2606.09547v3cs.CV공통 태그 counterfactual

스트리밍 개입: 비디오 대규모 언어 모델은 실수가 발생할 때 이를 수정할 수 있는가?

Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.