arXiv:2601.12654v3 cs.LG

SHAP에서의 설명 다중성: 특성화 및 평가

Explanation Multiplicity in SHAP: Characterization and Assessment

Hyunseung Hwang, Seungeun Lee, Lucas Rosenblatt, Steven Euijong Whang, Julia Stoyanovich

제출 2026-01-19

저자 비고

arXiv Comments

Accepted at NeurIPS 2026, Evaluations and Datasets Track

한국어 초록

SHAP 설명은 중요한 의사결정을 정당화하기 위해 고위험 환경에서 널리 사용되지만, 모델, 입력 인스턴스, 예측이 일정하게 유지되는 경우에도 반복 실행 간에 상당한 차이를 보일 수 있습니다. 선행 연구에서는 서로 다른 설명 방법 간의 불일치를 기록해 왔으나, 본 연구에서는 동일하게 학습된 모델과 인스턴스에 대해 동일한 추정기를 재실행할 때조차 SHAP 내부에서 상당한 불일치가 발생함을 보입니다. 저자들은 이 현상을 '설명 다중성(explanation multiplicity)'이라 부르고, 실제 배포 환경 수준의 계산 예산 하에서 이를 특성화하기 위한 평가 방법론을 개발했습니다. 이는 모델 기인 변동성과 설명기(explainer) 기인 변동성을 비교하는 이중 시드(dual-seed) 프로토콜, 크기 기반·순위 기반·집합 기반 지표의 계층 구조, 그리고 관측된 불일치에 대한 기준 척도를 제공하는 무작위 Dirichlet 및 Mallows 귀무 모델을 결합합니다. 여러 데이터셋, 모델, 샘플링 전략 전반에 걸쳐 분석한 결과, 설명 다중성은 만연하며 신뢰도가 높은 예측에 대해서도 지속됨을 발견했습니다. 각 원인의 상대적 기여도는 데이터 체제와 모델에 따라 달라집니다. 모델 기인 불일치는 일반적으로 더 작은 데이터셋에서 더 큰 반면, 설명기 기인 불일치는 더 큰 데이터셋에서 더 큽니다. 흔히 사용되는 L2 거리는 이러한 불안정성을 과소평가할 수 있는 반면, 순위 기반 지표는 최상위 특징(feature)을 포함하여 상위 랭크 특징들의 실질적인 변화를 드러냅니다. CTE와 같이 개선된 샘플링 방법도 순위 수준의 다중성을 제거하지 못하며, K-Means는 실행 간 변동을 줄이지만 압축된 배경(compressed-background) 설명이 경험적 분포 기준과 달라질 수 있습니다. 실무자는 단일 실행 SHAP 결과를 결정적인 결과물이라기보다는 한 분포의 표본 실현값으로 취급해야 합니다.

원문 초록

SHAP explanations are widely used in high-stakes settings to justify decisions, yet they can differ substantially across repeated runs, even when the model, the input instance, and the prediction are held fixed. Prior work has documented disagreement between explanation methods; we show that substantial disagreement arises even within SHAP across reruns of the same estimator on the same trained model and instance. We call this phenomenon explanation multiplicity and develop an evaluation methodology for characterizing it under deployment-realistic computational budgets, combining a dual-seed protocol that compares model-induced and explainer-induced variability, a hierarchy of magnitude-based, rank-based, and set-based metrics, and randomized Dirichlet and Mallows null models that provide reference scales for observed disagreement. Across multiple datasets, models, and sampling strategies, we find that explanation multiplicity is pervasive and persists even for high-confidence predictions. The relative contribution of each source depends on the data regime and model: model-induced disagreement is generally greater on smaller datasets, while explainer-induced disagreement is greater on larger datasets. Commonly used L2 distance can understate this instability, while rank-based metrics reveal substantial changes in top-ranked features, including the leading feature. Improved sampling methods such as CTE do not eliminate rank-level multiplicity, and K-Means reduces run-to-run variation while its compressed-background explanations can diverge from the empirical-distribution reference. Practitioners should treat single-run SHAP outputs as realizations of a distribution rather than as authoritative artifacts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.12654v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.16786v2cs.LG공통 태그 shap, explainability

설명 알고리즘을 현실 세계와 연결하기 위한 설명 카드의 필요성

We Need Explanation Cards to Connect Explanation Algorithms to the Real World

알고리즘적 설명(algorithmic explanation)은 이해관계자가 불투명한 알고리즘의 의사결정을 이해하도록 돕기 위한 것이지만, 실제로는 기대에 미치지 못하는 경우가 많습니다. 첫째, 알고리즘적 설명의 의미는 직관적으로 기대하는 바와 다른 경우가 많아 올바르게 해석하려면 전문가 수준의 지식이 필요합니다. 둘째, 최근 연구에 따르면 널리 사용되는 설명 알고리즘들이 복잡한 결정 함수의 동작에 대해 유의미한 정보를 제공하지 못하는 것으로 나타났습니다. 이러한 문제들이 결합되어 설명이 전달하는 것처럼 보이는 것과 실제로 제공하는 것 사이에 격차가 발생합니다. 본 연구에서는 표준적인 설명에 견고성(robustness) 및 유효성(validity)에 관한 보완 정보와 명확한 해석 지침을 더하는 '설명 알고리즘을 위한 설명 카드(Explanation Cards)'를 제안합니다. 이러한 보완 정보는 유의미하지 않던 설명을 실질적으로 유용하게 만들 수 있으며, 그렇지 못한 경우를 감지하는 데도 도움을 줍니다. 특히 설명 카드의 해석 지침은 책임을 사용자에서 제공자로 전환합니다. 즉, 사용자가 설명으로부터 무엇을 결론지을 수 있고 무엇을 결론지을 수 없는지 알아차리기를 기대하기보다, 제공자가 이를 사전에 명시해야 합니다. 본 논문에서는 반사실적 설명(counterfactual explanation)과 SHAP을 예시로 들어 제공자가 설명 카드를 어떻게 구축할 수 있는지, 그리고 이러한 카드가 사용자에게 타당한 해석에 필요한 지침을 어떻게 제공하는지 실증합니다. 나아가 설명 카드가 EU 인공지능법(EU AI Act)의 설명가능성 규정을 실무적으로 운용할 수 있는 실질적인 방안을 제공한다고 주장합니다. 종합적으로 설명 카드는 설명 알고리즘을 실제 적용 사례에 적합하게 만드는 중요한 진전입니다.

arXiv:2605.05870v3cs.LG공통 태그 feature attribution, explainability

QuadraSHAP: 가우스-르장드르 구적법을 통한 곱 게임의 안정적이고 확장 가능한 샤플리 값 계산

QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature

본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.

arXiv:2607.22872v1cs.LG공통 태그 feature attribution, explainability

같은 예측, 다른 근거: 양자화가 모델 설명에 미치는 영향

Same Predictions, Different Reasons: The Effect of Quantization on Model Explanations

사후 학습 양자화(PTQ)는 재학습 없이 고정밀도 부동소수점 가중치를 저정밀도 표현으로 압축함으로써, 자원이 제한된 엣지 디바이스에 심층 학습 모델을 배포하는 실용적인 해결책이 되었다. 기존 연구는 양자화가 분류 정확도를 대체로 유지한다는 것을 보여 주었지만, 모델의 내부 추론(reasoning)도 보존되는지는 여전히 열린 질문이다. 본 연구는 정적 PTQ가 INT8 및 INT4 정밀도에서 다섯 가지 널리 사용되는 CNN 아키텍처(VGG19, ResNet18, EfficientNet-B0, DenseNet161, MobileNetV2)의 해석 가능성/설명 가능성에 어떤 영향을 미치는지에 대한 체계적 평가를 제시한다. Grad-CAM을 이용한 공간적 어텐션 분석과 LIME을 이용한 입력 수준 특징 귀속(feature attribution)을 결합한 이중 해석 가능성 프레임워크를 사용하여, 두 개의 이진 분류 데이터셋에서 전정밀도 모델과 양자화 모델을 체계적으로 비교한다. 해석 가능성은 모델 설명의 분포적·구조적 변화를 포착하기 위해 Pearson 상관계수, 구조적 유사도 지수(SSIM), 상위 20% IoU라는 세 가지 보완적 지표로 평가하며, 삭제/삽입 충실도(faithfulness) 분석을 보조적으로 수행한다. 결과는 저정밀도 환경에서 분류 정확도가 해석 가능성 안정성의 신뢰할 수 있는 지표가 아님을 보여 준다. DenseNet161은 두 정밀도 수준 모두에서 강한 특징 일관성을 유지하는 반면, EfficientNet-B0는 INT8 정밀도에서 경쟁력 있는 공간적 어텐션과 분류 정확도를 달성했음에도 입력 수준 특징 귀속에서 상당한 저하를 보인다. 이러한 결과는 해석 가능성 요구가 높은 응용에서 양자화 모델의 신뢰할 수 있는 배포에 직접적인 함의를 가지며, 아키텍처 선택이 양자화 전략만큼 중요함을 보여 준다.

arXiv:2503.10496v2stat.ML공통 태그 explainability공식 코드 · Papers with Code

입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습

Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks

인공 신경망(ANN)으로 자연 현상을 모델링하면 높은 정확도의 예측을 제공하는 경우가 많습니다. 그러나 ANN은 과잉 파라미터화(over-parameterization)로 인해 해석이 복잡해지고 불확실성 문제가 발생하는 경우가 많습니다. 베이지안 신경망(BNN)은 가중치를 확률 분포로 표현함으로써 예측 불확실성 평가를 가능하게 하여 후자의 문제를 해결합니다. 잠재 이진 베이지안 신경망(LBBNN)은 구조적 불확실성을 추가로 처리하고 불필요한 가중치를 제거하여 모델을 희소화합니다. 본 논문은 공변량(covariate)이 이후의 임의의 층으로 스킵하거나 제외될 수 있도록 함으로써 LBBNN을 발전시켜 네트워크를 단순화하고 예측에 대한 입력의 영향을 명확히 합니다. 이를 통해 적절한 경우 더 단순한 구조(예: 선형 모델 또는 상수 절편 전용 모델)를 학습할 수 있습니다. 또한 입력 스킵 LBBNN(ISLaB) 방법은 표준 LBBNN 대비 네트워크 밀도를 크게 줄여, 소규모 네트워크에서는 99% 이상, 대규모 네트워크에서는 99.9% 이상의 감소를 달성하면서도 높은 예측 정확도와 불확실성 정량화를 유지합니다. 예를 들어, MNIST에서 단 935개의 가중치만으로 97% 정확도와 우수한 캘리브레이션을 달성하여 신경망 압축 분야에서 최신 성능(state-of-the-art)에 도달했습니다. 또한 제안된 방법은 실제 공변량을 정확하게 식별하고 시스템 비선형성을 조정합니다. 주요 기여는 활성 경로(active path)의 도입으로, LBBNN 프레임워크 내에서 직접 설계된 전역 및 지역 설명을 강화한다는 점입니다. 후자는 이론적 보증이 있는 정확한 방법으로, 사후(post hoc) 외부 도구를 필요로 하지 않습니다.

arXiv:2607.00578v4cs.CV공통 태그 explainability

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.