협력 게임을 위한 비선형 공리적 기여도 귀속
Nonlinear Axiomatic Attribution for Cooperative Games
한국어 초록
샤플리 값(Shapley value)은 선형성, 일관성, 동등 처리, 효율성의 공리를 유일하게 만족하기 때문에 기여도 귀속 문제에서 널리 사용되는 개념이다. 긍정적으로 기여하는 플레이어를 식별하기 위해 플레이어 순위의 품질을 평가하는 데 포함 AUC(inclusion AUC) 지표가 자주 사용된다. 그러나 이 목적을 위해 샤플리 값이 항상 신뢰할 수 있는 것은 아님이 증명될 수 있다. 핵심 문제는 그 선형성에 있다: 샤플리 값은 과도하게 큰 영공간(null space)을 가진 선형 연산자로 작동하며, 이 영공간에는 연산자가 구별하지 못하는 무시할 수 없는 섭동(perturbation)이 포함될 가능성이 높다. 이 한계를 해결하기 위해, 우리는 비선형 공리적 기여도 귀속 방법의 설계를 탐구한다. 샤플리 값의 대중적인 비선형 대안인 최소 코어(least core)에서 영감을 받아, 나머지 필수 공리들을 유지하는 비선형 기여도 귀속 방법의 클래스를 소개한다. 각 방법은 효용 함수(utility function)를 가능한 한 충실하게 근사하려는 최소화 문제의 유일한 최적해인 기여도 벡터(contribution vector)를 산출한다. 포함 AUC 지표 측면에서, 우리의 실험은 효율성 공리만을 완화하는 샤플리 값 변형들과 비교했을 때 이 방법들의 잠재적 효과를 입증한다. 코드는 https://github.com/watml/nonlinear-axiom 에서 확인할 수 있다.
원문 초록
The Shapley value is a widely used concept in attribution problems, as it uniquely satisfies the axioms of linearity, consistency, equal treatment, and efficiency. Often, the inclusion AUC metric is used to evaluate the quality of player rankings, in order to identify positively participating players. However, it can be established that the Shapley value is not always reliable for this purpose. The core issue lies in its linearity: the Shapley value acts as a linear operator with an excessively large null space, which is likely to contain non-negligible perturbations that remain indistinguishable to the operator. To address this limitation, we explore the design of nonlinear axiomatic attribution methods. Inspired by the least core, which is a popular nonlinear substitute for the Shapley value, we introduce a class of nonlinear attribution methods that retain the remaining necessary axioms. Each method yields a contribution vector that is the unique optimal solution to a minimization problem, which aims to approximate utility functions as faithfully as possible. In terms of the inclusion AUC metric, our experiments demonstrate the potential effectiveness of these methods compared to Shapley value variants that relax only the efficiency axiom. Our code is available at https://github.com/watml/nonlinear-axiom.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.09869v2제출 시각 미확인
- arXiv:2607.09869v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SHAP에서의 설명 다중성: 특성화 및 평가
Explanation Multiplicity in SHAP: Characterization and Assessment
SHAP 설명은 중요한 의사결정을 정당화하기 위해 고위험 환경에서 널리 사용되지만, 모델, 입력 인스턴스, 예측이 일정하게 유지되는 경우에도 반복 실행 간에 상당한 차이를 보일 수 있습니다. 선행 연구에서는 서로 다른 설명 방법 간의 불일치를 기록해 왔으나, 본 연구에서는 동일하게 학습된 모델과 인스턴스에 대해 동일한 추정기를 재실행할 때조차 SHAP 내부에서 상당한 불일치가 발생함을 보입니다. 저자들은 이 현상을 '설명 다중성(explanation multiplicity)'이라 부르고, 실제 배포 환경 수준의 계산 예산 하에서 이를 특성화하기 위한 평가 방법론을 개발했습니다. 이는 모델 기인 변동성과 설명기(explainer) 기인 변동성을 비교하는 이중 시드(dual-seed) 프로토콜, 크기 기반·순위 기반·집합 기반 지표의 계층 구조, 그리고 관측된 불일치에 대한 기준 척도를 제공하는 무작위 Dirichlet 및 Mallows 귀무 모델을 결합합니다. 여러 데이터셋, 모델, 샘플링 전략 전반에 걸쳐 분석한 결과, 설명 다중성은 만연하며 신뢰도가 높은 예측에 대해서도 지속됨을 발견했습니다. 각 원인의 상대적 기여도는 데이터 체제와 모델에 따라 달라집니다. 모델 기인 불일치는 일반적으로 더 작은 데이터셋에서 더 큰 반면, 설명기 기인 불일치는 더 큰 데이터셋에서 더 큽니다. 흔히 사용되는 L2 거리는 이러한 불안정성을 과소평가할 수 있는 반면, 순위 기반 지표는 최상위 특징(feature)을 포함하여 상위 랭크 특징들의 실질적인 변화를 드러냅니다. CTE와 같이 개선된 샘플링 방법도 순위 수준의 다중성을 제거하지 못하며, K-Means는 실행 간 변동을 줄이지만 압축된 배경(compressed-background) 설명이 경험적 분포 기준과 달라질 수 있습니다. 실무자는 단일 실행 SHAP 결과를 결정적인 결과물이라기보다는 한 분포의 표본 실현값으로 취급해야 합니다.
해석가능성의 메타게임과 메타 기여도
The Metagame of Interpretability and Meta-Attributions
임의의 기여도(attribution) 산출 방법을 제1원리로부터 어떻게 일반화하여 상호작용을 포착할 수 있을까요? 본 연구는 모델 설명의 2차 상호작용 효과를 정량화하기 위한 개념적 프레임워크인 메타게임(metagame)을 통해 이에 답합니다. 저자들은 특징(feature) $i$의 기여도 값 $φ_i$를 다른 특징들 간의 협력 게임으로 구성하고 그 샤플리 값(Shapley value)을 계산합니다. 이는 특징 $j$가 $i$의 기여도에 얼마나 영향을 미치는지를 측정하여 방향성을 갖는 메타 기여도 $\varphi_{j \to i}$를 도출합니다. 메타 기여도는 모델을 직접 분해하는 대신 기여도 자체를 분해함으로써, 그래디언트(gradient) 또는 어텐션(attention) 기반의 모든 방법을 상호작용으로 확장하며 제거 기반 섭동(perturbation)과 모델 내부 요소를 결합합니다. 이론적으로, 메타 기여도의 합이 설명 대상인 1차 기여도와 같음을 증명하며, 이는 샤플리 상호작용과 통합 헤시안(integrated Hessians)이 암묵적으로 수행하는 것으로 밝혀진 계층적 분해입니다. 실증적으로는 메타 기여도가 다양한 해석가능성 응용 분야 전반에서 통찰을 제공함을 입증합니다: (i) 인스트럭션 튜닝된 언어 모델에서의 토큰(token) 상호작용 정량화, (ii) 비전-언어(vision-language) 인코더에서의 모달리티 간 유사도 설명, (iii) 멀티모달 디퓨전 트랜스포머에서의 텍스트-이미지 개념 해석.
상관 영향 비율을 활용한 복잡한 AI 모델의 설명가능성
Explainability of Complex AI Models with Correlation Impact Ratio
복잡한 인공지능(AI) 시스템은 더 뛰어난 예측을 수행하지만 투명성이 부족한 경우가 많아 신뢰성, 해석 가능성, 안전한 배포를 저해합니다. LIME, SHAP, HSIC, SAGE와 같은 일반적인 사후(post hoc) AI 설명 방법들은 모델에 구애받지 않는(model-agnostic) 방식이지만, 상관관계가 있는 특징들의 순위를 잘못 매기는 경향이 있고 비용이 많이 드는 섭동(perturbation)을 필요로 하여 고차원 데이터로 확장되지 않는다는 한 가지 중요한 한계점이 있습니다. 본 논문에서는 모델 출력에 대한 입력 특징의 기여도를 설명하기 위한 이론적으로 근거 있고 단순하며 신뢰할 수 있는 지표인 ExCIR(Explainability through Correlation Impact Ratio)을 소개합니다. 이 지표는 노이즈 및 샘플링 변동 하에서도 안정적이고 일관성을 유지합니다. 우리는 ExCIR이 경량화된 단일 패스(single-pass) 정식화를 통해 상관된 특징들로부터 발생하는 의존성을 포착함을 입증합니다. EEG, 합성 차량 데이터, Digits, Cats-Dogs를 포함한 다양한 데이터셋에 대한 실험적 평가는 여러 도메인에 걸쳐 ExCIR의 효과성과 안정성을 검증하며, 기존 방법보다 계산 효율적이면서도 더 해석 가능한 특징 설명을 달성함을 보여줍니다. 나아가 우리는 상호 정보량(mutual information) 경계 조건 하에서 상관비(correlation ratio)와 정규상관분석(Canonical Correlation Analysis)을 통합하는 정보 이론적 기반으로 ExCIR을 확장하여, 대규모에서 다중 출력 및 클래스 조건부 설명가능성을 실현합니다.
QuadraSHAP: 가우스-르장드르 구적법을 통한 곱 게임의 안정적이고 확장 가능한 샤플리 값 계산
QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature
본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.
Signed Evidence Flow: 충돌 인식 및 안정성 보정 데이터 분석
Signed Evidence Flow: Conflict-Aware and Stability-Calibrated Data Analysis
현대 데이터 분석은 보통 예측만 제공할 뿐, 그 뒤에 있는 증거가 명확한지, 상충하는지, 안정적인지는 보여주지 않는다. 두 경우 모두 동일한 적합 신뢰도를 가질 수 있는데, 하나는 대체로 일치하는 증거를 갖고 다른 하나는 강한 지지와 강한 반대가 공존하는 경우가 있다. 우리는 적합된 예측 규칙과 부호화된 특징 기여(signed feature attributions)를 결합하여 지지, 반대, 충돌, 및 교란 안정성(perturbation stability)을 측정하는 Signed Evidence Flow(SEF)를 제안한다. 우리는 신뢰도가 총 증거 질량(total evidence mass)도 함께 결정할 때만 충돌을 정확히 결정함을 증명하고, 나머지 조건부 분산을 유도하며, 충돌이 신뢰도 및 기타 감사 변수보다 손실 예측을 개선할 수 있는 조건을 밝힌다. 또한 충돌을 기하학적 의사결정 취약성(geometric decision fragility)과 연결한다. 의료, Covertype, 블랙박스, 금융 및 10개의 외부 데이터셋에 걸쳐, 충돌은 이미 확신해 보이는 예측들 사이에서 위험을 때때로 구분한다. 교차 적합 테스트는 신뢰도 및 기여도 엔트로피를 넘어서는 추가적인 오류 순위화 정보를 여러 데이터셋, 두 개의 대규모 금융 과제를 포함하여 보여준다. 방향은 보편적이지 않다: 일부 과제에서는 저충돌(low-conflict) 사례가 더 위험하다. 따라서 우리는 SEF가 검토 분류(review triage)에 사용되기 전에 방향을 확인하는 홀드아웃 순열 진단(hold-out permutation diagnostic)인 ScopeGate를 도입한다. 따라서 SEF는 보편적인 위험 점수가 아니라 감사 도구이다: 증거 구조를 기술하며, 독립적인 보정(calibration) 표본이 해당 구조가 목표 모집단에서 유용한지를 결정한다.
Shapley를 넘어서: LLM 정렬 및 평가를 위한 영향 기반 데이터 감사 파이프라인
Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation
대규모 언어 모델(LLM)의 정렬은 점점 더 데이터 품질에 의해 병목이 발생하고 있다. 데이터셋이 확장됨에 따라, 방대한 선호(preference) 및 인스트럭션 튜닝(instruction tuning) 코퍼스에는 필연적으로 숨겨진 구조적 모순, 안전성(safety) 위험, 체계적인 인간 어노테이션 오류가 누적된다. 의미 중복 제거(semantic deduplication)나 LLM-as-a-judge와 같은 표준 데이터셋 감사 방법은 개별 레코드의 실제 예측적 영향을 포착하기 어렵고, 종종 깊은 기능적 규칙 충돌을 놓친다. 이를 해결하기 위해, 우리는 반복적 모델 재학습 없이 Shapley value를 근사하는 확장 가능하고 추론 전용 데이터 가치 평가 파이프라인을 제안한다. 의미적 k-NN 이웃을 방향 그래프로 매핑함으로써, 우리 프레임워크는 제로샷(zero-shot) 및 원샷(one-shot) 조건부 로그 가능도(log-likelihood) 변화를 사용하여 참조 LLM의 확률 분포를 통해 데이터 유틸리티를 직접 평가한다. 우리 파이프라인은 이러한 예측적 영향 점수를 국소화된 advantage 지표로 변환하여 그래디언트 충돌 레코드를 분리한다. 우리는 두 개의 철저히 검증된 정렬 데이터셋을 정화하는 데 있어 파이프라인의 효과를 입증한다. 첫째, HelpSteer2 데이터셋에 우리 파이프라인을 적용하면 수동 감사 탐색 공간을 99.1% 줄였으며, 다양한 실패 모드에 걸쳐 잘못 라벨링된 레코드를 성공적으로 발견했다. 둘째, Anthropic의 HH-RLHF 학습 및 평가 분할에 자동화된 감사 전략을 적용하면 수천 건의 숨겨진 안전성 및 사실적 선호 역전(preference inversion)을 식별했다. 결정적으로, 이 감사를 평가 분할로 확장함으로써 현재 벤치마크 무결성의 심각한 취약점을 드러낸다: 고성능 모델은 더 안전하거나 더 도움이 되는 응답을 자주 예측하지만, 객관적으로 결함이 있는 인간 정답(ground-truth) 라벨에 의해 페널티를 받는다. 전반적으로, 우리 연구는 인간 라벨 실패를 밝혀내고, 평가 벤치마크를 정화하며, LLM 정렬 데이터의 무결성을 보장하는 수학적으로 근거 있는 고효율 진단 도구를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.