SHAP 설명은 중요한 의사결정을 정당화하기 위해 고위험 환경에서 널리 사용되지만, 모델, 입력 인스턴스, 예측이 일정하게 유지되는 경우에도 반복 실행 간에 상당한 차이를 보일 수 있습니다. 선행 연구에서는 서로 다른 설명 방법 간의 불일치를 기록해 왔으나, 본 연구에서는 동일하게 학습된 모델과 인스턴스에 대해 동일한 추정기를 재실행할 때조차 SHAP 내부에서 상당한 불일치가 발생함을 보입니다. 저자들은 이 현상을 '설명 다중성(explanation multiplicity)'이라 부르고, 실제 배포 환경 수준의 계산 예산 하에서 이를 특성화하기 위한 평가 방법론을 개발했습니다. 이는 모델 기인 변동성과 설명기(explainer) 기인 변동성을 비교하는 이중 시드(dual-seed) 프로토콜, 크기 기반·순위 기반·집합 기반 지표의 계층 구조, 그리고 관측된 불일치에 대한 기준 척도를 제공하는 무작위 Dirichlet 및 Mallows 귀무 모델을 결합합니다. 여러 데이터셋, 모델, 샘플링 전략 전반에 걸쳐 분석한 결과, 설명 다중성은 만연하며 신뢰도가 높은 예측에 대해서도 지속됨을 발견했습니다. 각 원인의 상대적 기여도는 데이터 체제와 모델에 따라 달라집니다. 모델 기인 불일치는 일반적으로 더 작은 데이터셋에서 더 큰 반면, 설명기 기인 불일치는 더 큰 데이터셋에서 더 큽니다. 흔히 사용되는 L2 거리는 이러한 불안정성을 과소평가할 수 있는 반면, 순위 기반 지표는 최상위 특징(feature)을 포함하여 상위 랭크 특징들의 실질적인 변화를 드러냅니다. CTE와 같이 개선된 샘플링 방법도 순위 수준의 다중성을 제거하지 못하며, K-Means는 실행 간 변동을 줄이지만 압축된 배경(compressed-background) 설명이 경험적 분포 기준과 달라질 수 있습니다. 실무자는 단일 실행 SHAP 결과를 결정적인 결과물이라기보다는 한 분포의 표본 실현값으로 취급해야 합니다.
임의의 기여도(attribution) 산출 방법을 제1원리로부터 어떻게 일반화하여 상호작용을 포착할 수 있을까요? 본 연구는 모델 설명의 2차 상호작용 효과를 정량화하기 위한 개념적 프레임워크인 메타게임(metagame)을 통해 이에 답합니다. 저자들은 특징(feature) $i$의 기여도 값 $φ_i$를 다른 특징들 간의 협력 게임으로 구성하고 그 샤플리 값(Shapley value)을 계산합니다. 이는 특징 $j$가 $i$의 기여도에 얼마나 영향을 미치는지를 측정하여 방향성을 갖는 메타 기여도 $\varphi_{j \to i}$를 도출합니다. 메타 기여도는 모델을 직접 분해하는 대신 기여도 자체를 분해함으로써, 그래디언트(gradient) 또는 어텐션(attention) 기반의 모든 방법을 상호작용으로 확장하며 제거 기반 섭동(perturbation)과 모델 내부 요소를 결합합니다. 이론적으로, 메타 기여도의 합이 설명 대상인 1차 기여도와 같음을 증명하며, 이는 샤플리 상호작용과 통합 헤시안(integrated Hessians)이 암묵적으로 수행하는 것으로 밝혀진 계층적 분해입니다. 실증적으로는 메타 기여도가 다양한 해석가능성 응용 분야 전반에서 통찰을 제공함을 입증합니다: (i) 인스트럭션 튜닝된 언어 모델에서의 토큰(token) 상호작용 정량화, (ii) 비전-언어(vision-language) 인코더에서의 모달리티 간 유사도 설명, (iii) 멀티모달 디퓨전 트랜스포머에서의 텍스트-이미지 개념 해석.
복잡한 인공지능(AI) 시스템은 더 뛰어난 예측을 수행하지만 투명성이 부족한 경우가 많아 신뢰성, 해석 가능성, 안전한 배포를 저해합니다. LIME, SHAP, HSIC, SAGE와 같은 일반적인 사후(post hoc) AI 설명 방법들은 모델에 구애받지 않는(model-agnostic) 방식이지만, 상관관계가 있는 특징들의 순위를 잘못 매기는 경향이 있고 비용이 많이 드는 섭동(perturbation)을 필요로 하여 고차원 데이터로 확장되지 않는다는 한 가지 중요한 한계점이 있습니다. 본 논문에서는 모델 출력에 대한 입력 특징의 기여도를 설명하기 위한 이론적으로 근거 있고 단순하며 신뢰할 수 있는 지표인 ExCIR(Explainability through Correlation Impact Ratio)을 소개합니다. 이 지표는 노이즈 및 샘플링 변동 하에서도 안정적이고 일관성을 유지합니다. 우리는 ExCIR이 경량화된 단일 패스(single-pass) 정식화를 통해 상관된 특징들로부터 발생하는 의존성을 포착함을 입증합니다. EEG, 합성 차량 데이터, Digits, Cats-Dogs를 포함한 다양한 데이터셋에 대한 실험적 평가는 여러 도메인에 걸쳐 ExCIR의 효과성과 안정성을 검증하며, 기존 방법보다 계산 효율적이면서도 더 해석 가능한 특징 설명을 달성함을 보여줍니다. 나아가 우리는 상호 정보량(mutual information) 경계 조건 하에서 상관비(correlation ratio)와 정규상관분석(Canonical Correlation Analysis)을 통합하는 정보 이론적 기반으로 ExCIR을 확장하여, 대규모에서 다중 출력 및 클래스 조건부 설명가능성을 실현합니다.
본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.
샤플리 값(Shapley value)은 선형성, 일관성, 동등 처리, 효율성의 공리를 유일하게 만족하기 때문에 기여도 귀속 문제에서 널리 사용되는 개념이다. 긍정적으로 기여하는 플레이어를 식별하기 위해 플레이어 순위의 품질을 평가하는 데 포함 AUC(inclusion AUC) 지표가 자주 사용된다. 그러나 이 목적을 위해 샤플리 값이 항상 신뢰할 수 있는 것은 아님이 증명될 수 있다. 핵심 문제는 그 선형성에 있다: 샤플리 값은 과도하게 큰 영공간(null space)을 가진 선형 연산자로 작동하며, 이 영공간에는 연산자가 구별하지 못하는 무시할 수 없는 섭동(perturbation)이 포함될 가능성이 높다. 이 한계를 해결하기 위해, 우리는 비선형 공리적 기여도 귀속 방법의 설계를 탐구한다. 샤플리 값의 대중적인 비선형 대안인 최소 코어(least core)에서 영감을 받아, 나머지 필수 공리들을 유지하는 비선형 기여도 귀속 방법의 클래스를 소개한다. 각 방법은 효용 함수(utility function)를 가능한 한 충실하게 근사하려는 최소화 문제의 유일한 최적해인 기여도 벡터(contribution vector)를 산출한다. 포함 AUC 지표 측면에서, 우리의 실험은 효율성 공리만을 완화하는 샤플리 값 변형들과 비교했을 때 이 방법들의 잠재적 효과를 입증한다. 코드는 https://github.com/watml/nonlinear-axiom 에서 확인할 수 있다.
동일한 적합 신뢰도라도 증거가 대체로 일치할 수도 강한 지지와 반대가 공존할 수 있는데, Signed Evidence Flow(SEF)는 적합된 예측 규칙과 부호화된 특징 기여(signed feature attributions)를 결합해 지지·반대·충돌·교란 안정성을 측정한다. 의료·금융 등 다수 데이터셋에서 충돌이 이미 확신해 보이는 예측의 위험을 때때로 구분하지만 방향이 보편적이지 않아, ScopeGate 홀드아웃 진단과 독립 보정 표본으로 사용 범위를 확인해야 하는 감사 도구로 제시된다.
사후 학습 양자화(PTQ)는 재학습 없이 고정밀도 부동소수점 가중치를 저정밀도 표현으로 압축함으로써, 자원이 제한된 엣지 디바이스에 심층 학습 모델을 배포하는 실용적인 해결책이 되었다. 기존 연구는 양자화가 분류 정확도를 대체로 유지한다는 것을 보여 주었지만, 모델의 내부 추론(reasoning)도 보존되는지는 여전히 열린 질문이다. 본 연구는 정적 PTQ가 INT8 및 INT4 정밀도에서 다섯 가지 널리 사용되는 CNN 아키텍처(VGG19, ResNet18, EfficientNet-B0, DenseNet161, MobileNetV2)의 해석 가능성/설명 가능성에 어떤 영향을 미치는지에 대한 체계적 평가를 제시한다. Grad-CAM을 이용한 공간적 어텐션 분석과 LIME을 이용한 입력 수준 특징 귀속(feature attribution)을 결합한 이중 해석 가능성 프레임워크를 사용하여, 두 개의 이진 분류 데이터셋에서 전정밀도 모델과 양자화 모델을 체계적으로 비교한다. 해석 가능성은 모델 설명의 분포적·구조적 변화를 포착하기 위해 Pearson 상관계수, 구조적 유사도 지수(SSIM), 상위 20% IoU라는 세 가지 보완적 지표로 평가하며, 삭제/삽입 충실도(faithfulness) 분석을 보조적으로 수행한다. 결과는 저정밀도 환경에서 분류 정확도가 해석 가능성 안정성의 신뢰할 수 있는 지표가 아님을 보여 준다. DenseNet161은 두 정밀도 수준 모두에서 강한 특징 일관성을 유지하는 반면, EfficientNet-B0는 INT8 정밀도에서 경쟁력 있는 공간적 어텐션과 분류 정확도를 달성했음에도 입력 수준 특징 귀속에서 상당한 저하를 보인다. 이러한 결과는 해석 가능성 요구가 높은 응용에서 양자화 모델의 신뢰할 수 있는 배포에 직접적인 함의를 가지며, 아키텍처 선택이 양자화 전략만큼 중요함을 보여 준다.
특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.
시각 모델이 제한된 판별적 단서에만 의존하는 문제를 해결하기 위해, SS-CA(Subset-Selected Counterfactual Augmentation)는 LIMA 어트리뷰션을 Counterfactual LIMA로 확장하여 의사결정에 결정적인 영역을 마스킹한 반사실적 샘플을 생성하고 이를 학습에 재투입함으로써 모델이 더 다양한 증거를 활용하도록 유도한다. 다섯 가지 ImageNet 변형 실험에서 CLIP ViT/32b 기준 OOD 성능이 최대 18.04% 향상되는 등 인도메인 정확도, 분포 외 일반화, 섭동 강건성 전반에 걸쳐 일관된 성능 개선을 달성했다.
희소 오토인코더(SAE)는 언어 모델에서 해석 가능한 특징을 추출하는 유용한 도구로 자리잡았다. 그러나 표준 SAE 아키텍처는 개별 토큰 활성화를 기반으로 동작하기 때문에, 활성화되는 특징의 수가 컨텍스트 길이에 선형적으로 비례하여 증가하며, 긴 모델 대화 기록을 분석하기 어렵다. 우리는 턴 평균 SAE를 도입하며, 이는 턴 전반의 평균 모델 활성화를 재구성하도록 학습함으로써 단일 Human 또는 Assistant 턴을 고정된 수의 특징으로 표현한다. 우리는 턴 평균 특징이 대규모 언어 모델(LLM)의 판단 기준으로 볼 때 토큰별 특징보다 단일 턴의 고수준 특성을 더 완전하게 설명함을 발견하였다. 또한 턴 평균 SAE가 귀인 그래프와 같은 SAE의 일반적인 다운스트림 활용을 크게 단순화함을 입증한다. 전반적으로, 턴 평균 SAE는 긴 컨텍스트 길이에서도 해석 가능성 기법을 실용적으로 활용할 수 있게 한다.
We address the problem of explainability in machine learning models through feature attribution methods. In particular, we consider a variant of Shapley values known as Asymmetric Shapley Values (ASV), which enables the incorporation of causal knowledge into model-agnostic explanations through the use of a causal graph. We show that in certain contexts in which the computation of SHAP is $\#P$-hard, the exact computation of ASV can be done in polynomial time. To extend this algorithmic result, we introduce a notion of equivalence classes over the topological orderings of the underlying causal graph, which is useful to reduce the time to compute ASV. In particular, we present a polynomial-time algorithm (in the number of equivalence classes) to compute it whenever the causal graph is a rooted directed tree. Finally, we develop an algorithm for approximating ASV in arbitrary causal DAGs which relies on a procedure to sample topological orderings uniformly at random. To implement this sampling mechanism we leverage known algorithms as well as simpler alternatives. Our experimental results demonstrate the practical viability of the proposed approach in realistic causal structures.
Integrated Gradients(IG)와 같은 경로 기반 속성 귀attribution 방법은 강한 공리적 성질과, 기준선에서 입력까지의 경로를 따라 그래디언트를 적분하여 모델 예측을 입력 특징에 귀속하는 효과성 때문에 널리 채택된다. 그러나 속성 귀attribution 경로의 선택은 설명의 품질에 크게 영향을 미치며, 기존 접근법은 고정되거나 수작업으로 설계된 경로에 의존하여 종종 노이즈가 많거나 왜곡된 속성 귀attribution을 만든다. 이 한계를 해결하기 위해, 우리는 경로 생성을 조건부 생성 모델링 문제로 재구성하는 새로운 방법인 Diffusion Integrated Gradients(DiffIG)를 제안한다. DiffIG는 먼저 Stick-Breaking Process로 생성된 경로들에 대한 분포를 학습하기 위해 확산 모델을 학습하고, 샘플링 절차 중 사용자 안내를 내장하기 위해 guided sampling을 사용한다. 우리는 DiffIG가 정량적으로 기존 경로 기반 방법들과 동등하거나 더 나은 성능을 보이며, 지각적으로 정렬된 설명을 달성함을 보여준다. 이 연구는 유연하고 추론 시점에 제어 가능한 설명 가능한 인공지능(XAI) 방법을 위한 새로운 생성적 관점을 제시한다.