"신뢰 쓰레기"가 고도로 차별적인 예측 모델에 대한 부당한 지지로 이어진다
"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
한국어 초록
데이터 시각화의 설득력은 잘못된 방향으로 작용할 수 있다. 예를 들어, 설명 가능 AI(XAI) 맥락에서 시각화는 예측 모델에 대한 과도한 신뢰(over-trust)를 유발할 수 있다. 본 논문에서는 크라우드소싱 연구를 통해, 모델 설명에 정확하지만(불필요하거나 무관한) 데이터를 제공하는 것이 실제로 모델이 명백히 차별적이고 불공정한 경우에도 불구하고 모델에 대한 부당한 신뢰 및 기타 긍정적 믿음을 초래할 수 있음을 보인다. 우리의 결과는 XAI 설계자와 개발자들이 자신의 작업에 내재되거나 명시적인 수사를 고려해야 하며, 시각화가 모델에 근거 없는 신뢰를 불어넣을 수 있는 잠재력에 주의해야 함을 시사한다.
원문 초록
The persuasive power of data visualizations can go awry: for instance, in an explainable AI (XAI) context, visualizations can produce over-trust of predictive models. In this paper, we use a crowdsourced study to show that providing accurate (but superfluous or irrelevant) data in a model explanation can, in fact, result in unjustified trust and other positive beliefs about a model, even when the model is patently discriminatory and unfair. Our results suggest that XAI designers and developers need to consider the implicit or explicit rhetorics of their work, and beware of the potential of visualizations to imbue models with unearned trust.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.14152v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
설명 가능한 머신러닝에서의 구성 개념 중첩 감사: 학생 코호트 간 번아웃-우울증 예측을 통한 실증 연구
Auditing Construct Overlap in Explainable Machine Learning: Evidence from Burnout-Depression Prediction Across Student Cohorts
복합 정신건강 결과에 적용된 설명 가능한 머신러닝(XML) 파이프라인은 겉으로는 강건하고 집단 간 안정적으로 보이는 위험 위계 구조를 산출할 수 있으나, 이는 대부분 결과 변수의 구성 방식에서 비롯된 인위적 산물이다. 우리는 로잔 대학교 의과대학생 886명(1차 코호트, 2022)에 ElasticNet 파이프라인을 적용하고, 세 시점에 걸친 2,580개의 종단 관측치 및 8개 학부 비의학 전공생 701명의 데이터로 검증함으로써 이를 실증한다. 세 데이터셋 모두 동일한 측정 도구를 사용한다. 이 파이프라인은 결과 변수가 측정되는 어느 상황에서든 특질 불안과 건강 만족도가 지배적인 위계를 산출하며, 모든 다섯 개 평가 세트에서 상위 두 순위에 대한 Kendall τ = 1.0을 보이고 일관된 전이 성능(R²: 0.41–0.49)을 나타낸다. 상관된 변수 간의 공유 분산을 회귀를 통해 분리하는 두 가지 잔차화(residualization) 실험을 통해 그 메커니즘이 밝혀진다. 특질 불안(STAI-T)을 함께 포함된 우울 하위척도(CES-D, r = 0.72)에 대해 잔차화하면 모델 R²가 0.41에서 0.16으로 하락하고 STAI-T의 순위는 1위에서 6위로 떨어진다. 번아웃 하위척도를 CES-D에 대해 잔차화하면 R²는 0.016으로 붕괴된다. 예측 구간은 0–100 척도에서 평균 35.4단위(결과 표준편차의 2.4배)로, 이는 개인 수준의 배포 가능성을 독립적으로 배제한다. 잔차화 프로토콜은 본 논문의 전이 가능한 기여이다. 상관된 예측 변수와 결과 구성 개념을 결합하는 모든 XAI 연구는 외견상의 안정성을 연구 결과로 해석하기 전에 이 검증을 적용해야 한다.
모든 설명은 틀렸지만 많은 설명은 유용하다: 대규모 언어 모델을 활용한 라쇼몽 설명 집합 탐색
All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
머신러닝 모델을 설명하는 일은 의사결정과 소비자 신뢰 측면에서 점점 더 중요해지고 있으나, 기존의 설명 가능한 AI(XAI) 방법들은 정확도-설명가능성 트레이드오프라는 고질적인 문제를 안고 있다고 널리 알려져 있다. 우리는 이 트레이드오프가 근본적인 것이 아니라, 설명과 예측을 별개의 목표로 취급한 데서 비롯된 부산물임을 주장한다. 둘을 적절히 결합하면 상호 보완적이 되어, 모델이 스스로를 설명할 수 있도록 갖추는 것이 정확도를 저하시키는 것이 아니라 오히려 향상시킨다. 우리는 라쇼몽 설명(Rashomon Explanation) 패러다임을 제안하는데, 이는 단일 설명 대신 충실하고 예측을 안내하는 설명들의 집합을 구성하며, 이 집합이 일반적으로 비어 있지 않음을 증명하고 설명 충실도가 그것이 안내하는 모델의 성능에 상한을 부여함을 증명한다. 이 집합을 탐색하기 위해 우리는 RashomonLLM을 제안한다. 이는 설명-예측-반성(Explanation-Prediction-Reflection) 에이전트 워크플로우로, 자연어로 설명을 생성하면서 예측과 반복적으로 정렬시키며, 이것이 수렴하고 전체 집합을 복원함을 증명한다. 대규모 라이브 스트리밍 로그에 대한 고객 이탈 분류, 임상 생존 회귀, 산업용 클릭률 예측 전반에 걸쳐, RashomonLLM은 정확도와 설명 품질 모두에서 최신 예측 및 XAI 베이스라인을 크게 능가하며, 이 성능 향상은 설명 충실도에 의해 주도되고 분포 이동, 시간적 분할, 시드에 대해 강건하다. 따라서 우리의 프레임워크는 비즈니스 성능을 향상시키는 동시에 소비자 신뢰의 토대를 마련한다.
방글라데시 아동의 학대 관련 트라우마 스크리닝을 위한 설명 가능한 AI: 노이즈 인식 합성 데이터로 평가된 학습 없는 멀티모달 프레임워크
Explainable AI for Screening Abuse-Related Trauma in Bangladeshi Children: A Training-Free Multimodal Framework Evaluated on Noise-Aware Synthetic Data
방글라데시에는 인구 10만 명당 약 1.17명의 정신건강 전문가가 있으며, 전국에 소아 정신과 의사가 단 여섯 명뿐입니다. 아동의 학대 관련 심리적 트라우마 조기 스크리닝을 위한 벵골어 기반의 문화적으로 적합한 도구는 존재하지 않습니다. 우리는 ShishuRaksha AI를 제시합니다. 이는 의사결정 지원(진단이 아닌) 프레임워크로, 검증된 설문지(SDQ, CPSS), 벵골어 서술 텍스트, 집-나무-사람(HTP) 그림 특징, 얼굴 정서의 네 가지 스크리닝 양식을 융합합니다. 이 융합은 학습이 필요 없고 임상적으로 가중치가 부여되며, 교차 모달 어텐션을 사용하고 단일 양식 우선 적용 규칙을 포함합니다. 모든 위험 점수는 임상적으로 가중된 섭동 기반 가산 귀인을 통해 설명되며, 2013년 아동법에 따라 국가 아동보호 서비스(OCC, DSS, NMHH)로의 의뢰 경로가 포함된 이중 언어(방글라/영어) 보고서로 출력됩니다. 현 단계에서는 피해 아동의 임상 데이터셋을 윤리적으로 수집할 수 없으므로, 노이즈 인식 합성 벤치마크(500 케이스, 116개 양성[23.2%], 네 개의 의도적 노이즈 레이어, 문헌 기반 HTP 사전)를 도입하고, 5겹 층화 교차 검증하에 융합 설계(얼굴 채널 제외)의 트리 앙상블 대리 모델을 평가합니다. 융합 모델은 AUC 0.874[0.834-0.908]를 달성하였으며, SDQ 단독 기준선의 0.756[0.705-0.803]과 비교되고, 절제 분석, 운영 지점, 서브그룹, 보정 분석을 포함합니다. 우리는 합성 데이터만 사용, 보류 평가셋 없음, 텍스트 특징 순환성, 도시-농촌 서브그룹 격차를 포함한 모든 한계를 명시합니다. 이 연구는 저자원 환경에서 윤리적으로 배포 가능한 아동보호 스크리닝을 향한 타당성 연구이자 설계적 기여입니다.
Algebraic Model Counting for Global Analysis of Optimal Decision Trees
Explainable Artificial Intelligence For The Detection and Characterisation of Stage B Heart Failure
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
토론
이 논문과 연결된 포럼 글이 아직 없습니다.