설명 알고리즘을 현실 세계와 연결하기 위한 설명 카드의 필요성
We Need Explanation Cards to Connect Explanation Algorithms to the Real World
한국어 초록
알고리즘적 설명(algorithmic explanation)은 이해관계자가 불투명한 알고리즘의 의사결정을 이해하도록 돕기 위한 것이지만, 실제로는 기대에 미치지 못하는 경우가 많습니다. 첫째, 알고리즘적 설명의 의미는 직관적으로 기대하는 바와 다른 경우가 많아 올바르게 해석하려면 전문가 수준의 지식이 필요합니다. 둘째, 최근 연구에 따르면 널리 사용되는 설명 알고리즘들이 복잡한 결정 함수의 동작에 대해 유의미한 정보를 제공하지 못하는 것으로 나타났습니다. 이러한 문제들이 결합되어 설명이 전달하는 것처럼 보이는 것과 실제로 제공하는 것 사이에 격차가 발생합니다. 본 연구에서는 표준적인 설명에 견고성(robustness) 및 유효성(validity)에 관한 보완 정보와 명확한 해석 지침을 더하는 '설명 알고리즘을 위한 설명 카드(Explanation Cards)'를 제안합니다. 이러한 보완 정보는 유의미하지 않던 설명을 실질적으로 유용하게 만들 수 있으며, 그렇지 못한 경우를 감지하는 데도 도움을 줍니다. 특히 설명 카드의 해석 지침은 책임을 사용자에서 제공자로 전환합니다. 즉, 사용자가 설명으로부터 무엇을 결론지을 수 있고 무엇을 결론지을 수 없는지 알아차리기를 기대하기보다, 제공자가 이를 사전에 명시해야 합니다. 본 논문에서는 반사실적 설명(counterfactual explanation)과 SHAP을 예시로 들어 제공자가 설명 카드를 어떻게 구축할 수 있는지, 그리고 이러한 카드가 사용자에게 타당한 해석에 필요한 지침을 어떻게 제공하는지 실증합니다. 나아가 설명 카드가 EU 인공지능법(EU AI Act)의 설명가능성 규정을 실무적으로 운용할 수 있는 실질적인 방안을 제공한다고 주장합니다. 종합적으로 설명 카드는 설명 알고리즘을 실제 적용 사례에 적합하게 만드는 중요한 진전입니다.
원문 초록
Algorithmic explanations are intended to help stakeholders understand opaque algorithmic decisions, but in practice, they often fall short. First, the meaning of algorithmic explanations is often not what one might intuitively expect, so expert knowledge is required to interpret them correctly. Second, recent work has shown that popular explanation algorithms are uninformative about the behavior of complex decision functions. Together, these issues create a gap between what explanations appear to convey and what they actually provide. In this work, we propose Explanation Cards for Explanation Algorithms, which augment standard explanations with complementary information about robustness and validity, as well as clear instructions for interpretation. The complementary information can render otherwise uninformative explanations practically useful, while also helping to detect cases where they are not. Importantly, the interpretation instructions in explanation cards shift responsibility from users to providers: Rather than expecting users to recognize what can and cannot be concluded from an explanation, providers must make this explicit upfront. Using counterfactual explanations and SHAP as examples, we demonstrate how providers can construct explanation cards and that these cards provide users with the guidance needed for sound interpretation. We further argue that explanation cards offer a practical means of operationalising the explainability provisions of the EU AI Act. Overall, explanation cards are a significant step toward making explanation algorithms fit for real-world use cases.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템
MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations
최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.
확산 모델을 이용한 개념 기반 시각적 반사실적 설명
Concept-based Visual Counterfactual Explanations with Diffusion Models
시각적 반사실적 설명(counterfactual explanation)은 "이 이미지에 어떤 최소한의 변화를 가하면 모델의 예측이 뒤집힐까?"라는 질문에 답하려 하며, 비전 모델이 안전이 중요한(safety-critical) 영역(예: 의학)에 배포됨에 따라 점점 더 중요해지고 있다. 기존 확산 기반 방법들은 사실적인 편집을 생성할 수 있지만, 노이즈가 있는 이미지에서도 안정적으로 동작해야 하는 외부 분류기(classifier)에 의존하므로 취약하고, 견고한(robust) 설명을 위해 배포하기 어렵다. 우리는 C-VCE를 제안한다. 이는 개념 병목(concept bottleneck) 층을 통해 분류기를 생성 모델(generative model)에 직접 통합하는 새로운 확산 프레임워크로, 반사실적 결과가 픽셀 수준 편집과 함께 동작하는 별도의 노이즈 견고 분류기 대신 사람이 해석 가능한 특징(concepts)에 의해 유도된다. 우리 모델(model)은 사용자가 샘플링 중 의미적 개념(concept)을 켜고 끌 수 있게 하며, 특징(feature) 상관관계를 존중하면서 이미지의 나머지 부분은 보존한 채 관련 이미지 영역만 최소한으로 조정한다. 편집을 작고 통제 가능하게 유지하기 위해, "예측을 바꾸기"와 "원본에 가깝게 유지하기"를 균형 맞추는 단순한 확률적 정규화(regularizer)와, 수정을 가장 관련 있는 영역으로 제한하는 그래디언트(gradient) 기반 마스크를 추가한다. CelebA와 같은 벤치마크(benchmark)에서 C-VCE는 별도의 노이즈 이미지 분류기에 의존하는 베이스라인보다 입력에 시각적으로 더 가깝고 왜곡이 적은 반사실적 결과를 생성하면서 뒤집기(flip) 비율을 맞추거나 개선한다. 이러한 특성은 사용자가 추가의 노이즈 견고 분류기를 신뢰할 필요 없이 구체적인 "what-if" 이미지가 필요한 비전 시스템에서 C-VCE를 실용적인 도구로 만든다. 더 넓게 보면, 우리 결과는 내부 개념 층(layer)을 노출하고 제어하는 것이 강력한 생성 모델(generative model)을 더 이해하기 쉽고 더 안전하게 사용할 수 있게 만드는 유망한 방법임을 시사한다.
MiSS: 포인트 클라우드 분류기를 위한 최소 충분 연합의 논리 기반 설명
MiSS: A Logic-Driven Explanation of Minimal Sufficient Coalitions for Point Cloud Classifiers
MiSS를 제안한다. MiSS는 교란 상대적 충분성 추론을 통해 3D 포인트 클라우드 분류기를 설명하는 블랙박스, 쿼리 기반 프레임워크이다. MiSS는 슈퍼포인트 분할을 해석 가능한 추상화 층으로 취급하며, 지정된 교란 분포 하에서 기하학적 영역의 최소 연합으로부터 원래 예측을 인증할 수 있는지를 묻는다. 예측기의 불리언 특징 공간 또는 화이트박스 논리 인코딩을 요구하는 가역적(abductive) 설명기와 달리, MiSS는 후보 제안과 검증을 분리한다: 가중 MaxSAT 절차는 휴리스틱 적응형 카디널리티 하한, 인증된 정확 크기 폴백, 안전하게 조여진 상한, 차단 절, 그리고 이전 오라클 평가로부터 학습된 대리 획득 휴리스틱을 사용하여 연합을 제안하고, 블랙박스 통계 오라클은 예측 쿼리로부터 충분성을 결정한다. 이 시스템은 통계적으로 검증된 충분 연합을 이진 기여도(attribution)로 반환하며, 인증된 탐색이 완료되면 최소 카디널리티가 보장된다. PointNet 및 PointMLP 분류기를 사용한 ModelNet40과 ShapeNet에서의 실험은 대부분의 설정에서 규칙 기반 베이스라인보다 더 높은 정밀도와 커버리지를 보이며, 전수 탐색보다 낮은 설명 시간을 보인다.
CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크
Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification
안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.
충분성을 넘어: 반사실적 필요성 기반 시계열 설명
Beyond Sufficiency: Time Series Explanation with Counterfactual Necessity
시계열 분류기에 대한 충실한 설명은 블랙박스 모델의 예측을 유지하기에 충분할 뿐만 아니라, 그 예측을 유지하는 데 필요한 부분 시퀀스(subsequence)를 식별해야 한다. 그러나 기존의 충분성(sufficiency) 중심 방법들은 모델의 의사결정에 필수적이지 않으면서도 예측을 뒷받침하는 허위(spurious) 부분 시퀀스에 높은 중요도를 부여할 수 있다. 우리는 시계열 설명을 위한 필요성(necessity) 인식 프레임워크인 TimePNS를 제안한다. Pearl의 반사실적(counterfactual) 필요성 개념에서 영감을 받아, TimePNS는 시간적 요인에 개입(intervention)하고 원래 예측이 방해되는지 측정함으로써 해당 요인이 필요한지 평가한다. 이 프레임워크는 2단계 설계를 채택한다. 1단계에서는 식별 가능한(identifiable) 인과 생성 과정과 충분성 중심 설명 마스크를 함께 학습한다. 2단계에서는 시간적 요인에 대한 반사실적 개입을 수행하여 필요성 신호를 도출하고, 이 신호가 시간적 게이트(temporal gate)를 지도하여 비필수 구성 요소를 억제하고 반사실적으로 필요한 요소를 강조함으로써 초기 설명을 정제한다. 합성 및 실세계 시계열 벤치마크(benchmark)에서의 실험은 TimePNS가 의사결정에 핵심적인 부분 시퀀스를 더 정확하게 식별하고, 강력한 기준선(baseline) 대비 충분성-필요성 트레이드오프를 일관되게 개선함을 보여준다.
TRUST-ESD: 불확실성 하에서 기업 전략적 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 AI 프레임워크
TRUST-ESD: A Risk-Calibrated and Governance-Aware AI Framework for Enterprise Strategic Decision Support Under Uncertainty
기업 전략적 의사결정 지원을 위해서는 정확할 뿐만 아니라 불확실성 인식, 위험 보정, 설명 가능, 거버넌스 준수가 가능한 AI 시스템이 필요하다. 본 논문은 불확실성 하의 기업 의사결정 지원을 위한 위험 보정 및 거버넌스 인식 프레임워크인 TRUST-ESD를 제안한다. TRUST-ESD는 예측적 효용 추정, conformal 불확실성 보정, CVaR 기반 하방 위험 점수화, 위험 메모리 검색, policy-as-code 거버넌스, 설명 가능성, 인간 감독을 통해 실행 가능한 반사실적(counterfactual) 전략을 평가한다. 최대 기대 효용으로 행동을 선택하는 예측 전용 방법과 달리, TRUST-ESD는 가치, 신뢰성, 위험 노출, 준수를 균형 있게 고려한 전략을 권고한다. 실험 결과, TRUST-ESD는 강력한 불확실성 인식 기준선 대비 위험 조정 효용을 7.95% 향상하고, 위험 노출을 23.22% 감소하며, CVaR을 23.78% 감소하고, 보정 오차를 13.89% 낮추며, 설명 충실도를 10.90% 향상하고, 거버넌스 준수율을 9.76% 높이는 동시에 경쟁력 있는 예측 정확도를 유지한다. Ablation 및 사례 연구 분석은 불확실성 보정, 하방 위험 점수화, 위험 메모리, 설명 가능성, 거버넌스 검증이 공동적으로 신뢰할 수 있는 기업 의사결정을 개선함을 추가로 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.