PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2303.17707v5cs.AI

설명 가능한 AI의 기준으로 그럴듯함을 사용하는 것을 중단하라

Stop Using Plausibility as the Criterion for Explainable AI

설명 가능한 인공지능(XAI)은 AI가 사회와 고위험 분야에서 점점 더 큰 영향력을 갖게 됨에 따라, AI의 예측을 이해 가능하고 투명하며 책임 있게 만들어야 한다는 문제의식에서 출발한다. XAI의 평가 및 최적화 기준은 XAI 알고리즘이 기대하는 목표를 달성하도록 하는 관문 역할을 하므로 엄밀한 검증을 견뎌야 한다. XAI의 과학적 엄밀성을 높이기 위해 본 연구는 일반적인 XAI 기준인 그럴듯함(plausibility)에 대해 최초로 포괄적이고 비판적인 검토를 수행한다. 그럴듯함은 AI의 설명이 인간에게 얼마나 설득력 있는지를 평가하며, 보통 특징 위치 파악이나 특징 상관관계에 대한 지표로 정량화된다. 검토 결과, 그럴듯함은 설명 가능성에 대한 타당하지 않은 척도이며, 인간의 설명은 XAI의 정답(ground truth)이 될 수 없다. 두 가지 모두 설명에 필요한 가정을 무시하기 때문이다. 근본적인 가정 중 하나는 AI의 설명이 잠재적 문제를 찾아내는 감사자나 의사의 역할과 유사하게 적대적으로 작동해야 한다는 것이다. 더 그럴듯한 설명을 생성하도록 XAI를 평가하거나 최적화하는 것은 감사자나 의사가 더 긍정적인 보고서를 작성하도록 유인(즉, 매수)하는 것과 유사하며, 이는 AI 모델이 더 그럴듯한 특징을 학습하도록 장려하는 것(기업이나 환자가 행동이나 건강을 개선하도록 장려하는 것에 해당)과는 다르다. 검토는 또한 그럴듯함을 XAI 기준으로 사용할 때의 결과를 보여 준다. 여기에는 사용자를 조작하는 오해의 소지가 있는 설명의 증가, AI 시스템에 대한 사용자 신뢰의 악화, 인간 자율성의 훼손, 인간과 AI의 상호 보완적 과제 수행 달성 불가, 이해 가능성을 높이는 다른 가능한 접근법의 포기가 포함된다. 측정의 타당성 부족과 윤리적 문제로 인해, 본 논문은 AI 커뮤니티가 XAI 알고리즘을 평가하고 최적화하는 기준으로 그럴듯함을 사용하는 것을 중단해야 한다고 주장한다.