If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques
원문 초록
In recent years, there has been an explosion of AI research on counterfactual explanations as a solution to the problem of eXplainable AI (XAI). These explanations seem to offer technical, psychological and legal benefits over other explanation techniques. We survey 100 distinct counterfactual explanation methods reported in the literature. This survey addresses the extent to which these methods have been adequately evaluated, both psychologically and computationally, and quantifies the shortfalls occurring. For instance, only 21% of these methods have been user tested. Five key deficits in the evaluation of these methods are detailed and a roadmap, with standardised benchmark evaluations, is proposed to resolve the issues arising; issues, that currently effectively block scientific progress in this field.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.
합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
조합 최적화 관점에서 본 신뢰할 수 있는 머신러닝: 서베이 및 연구 전망
Trustworthy Machine Learning through the Lens of Combinatorial Optimization: Survey and Research Perspectives
현대 머신러닝(ML)은 경험적 성능 지표만으로는 동작을 특성화하기 어려운 복잡한 모델에 점점 더 의존하고 있다. 예측, 생성, 의사결정을 포함한 광범위한 태스크에서 유사한 경험적 성능을 보이는 모델들도 투명성, 해석 가능성, 견고성(robustness), 공정성(fairness), 프라이버시, 그리고 인증 가능성(certifiability) 측면에서 현저히 다른 특성을 나타낼 수 있다. 본 서베이는 최적화 및 인증 지향적 추론이 이러한 차이를 분석하는 유용한 프레임워크를 제공할 수 있음을 강조하며, 모델 학습 및 선택부터 감사(auditing) 및 인증에 이르는 다양한 태스크를 지원한다. 우리는 조합 최적화(CO)와 신뢰할 수 있는 ML의 교차점에서 이루어진 최근 발전을 검토하고 종합한다. 이는 해석 가능한 모델 학습, 설명 생성(explanation generation), 견고성 분석, 공정성 감사, 모델 압축(model compression), 그리고 프라이버시 공격 및 보호를 포함하는 학습 및 사후 학습 태스크 모두를 다룬다. 이러한 분야 전반에서 CO 형식화(formulation)는 그래디언트 기반 방법 등 순수 휴리스틱 접근법에 비해 전역 보장(global guarantee), 형식적 인증서(formal certificate), 트레이드오프의 명시적 처리 등 추가적인 역량을 제공한다. 확장성은 여전히 중요한 과제로 남아 있지만, 솔버(solver)와 하이브리드 알고리즘의 지속적인 발전은 신뢰할 수 있는 ML 시스템의 설계 및 배포에서 CO의 역할이 점차 확대될 것임을 시사한다.
Analyzing and Improving the Robustness of Tabular Classifiers using Counterfactual Explanations
Learning Time Series Counterfactuals via Latent Space Representations
토론
이 논문과 연결된 포럼 글이 아직 없습니다.