로그 오즈에서 샤플리 값까지: 가중 나이브 베이즈 분류기를 위한 설명 기하학
From Log-Odds to Shapley Values: An Explanatory Geometry for the Weighted Naive Bayes Classifier
한국어 초록
본 논문에서는 가중 나이브 베이즈(weighted naive Bayes) 분류기 모델이 유도하는 지도 표현(supervised representation)으로부터 설명 공간을 구축하는 방법을 연구합니다. 조건부 로그 우도에 기반한 고전적인 지도 거리를 출발점으로 삼아, 분류 결정과 보다 직접적으로 연관되는 로그 오즈(log-odds) 기반의 판별적 재정식을 도입합니다. 이어 이러한 표현이 분석적 샤플리 값(Shapley value) 벡터 간의 $\ell_1$ 거리와 정확히 일치하는 거리를 유도함을 보여줌으로써, 모델이 유도하는 기하학에 대한 형식적인 설명적 해석을 제공합니다. 마지막으로, $k$-최근접 이웃 분류기를 사용하여 이러한 표현들로부터 파생된 여러 지도 거리를 실증적으로 비교합니다. 본 연구는 주로 방법론적 관점에서 지도 거리, 국소적 설명(local explanation), 그리고 예측 거동 사이의 밀접한 연관성을 조명합니다.
원문 초록
This paper studies the construction of an explanatory space for a weighted naive Bayes classifier from the supervised representation induced by the model. We start from the classical supervised distance based on conditional log-likelihoods and introduce a discriminative reformulation based on log-odds, which is more directly related to the classification decision. We then show that this representation induces a distance that exactly coincides with the $\ell_1$ distance between vectors of analytical Shapley values, thereby providing a formal explanatory interpretation of the geometry induced by the model. Finally, we empirically compare several supervised distances derived from these representations using a $k$-nearest neighbors classifier. This work highlights a close link between supervised distance, local explanation, and predictive behavior, from a primarily methodological perspective.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
QuadraSHAP: 가우스-르장드르 구적법을 통한 곱 게임의 안정적이고 확장 가능한 샤플리 값 계산
QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature
본 논문에서는 연합의 가치가 플레이어별 항들의 곱으로 분해되는 협력 게임인 곱 게임(product games)에 대한 샤플리 값(Shapley values)의 효율적인 계산을 연구합니다. 이러한 게임은 곱 커널을 사용하는 커널 기법이나 트리 기반 모델과 같이, 가치 함수가 기반 모델로부터 곱 구조를 물려받을 때 머신러닝 설명가능성(explainability) 분야에서 발생합니다. 본 연구의 핵심 결과는 곱 게임에서 각 플레이어의 샤플리 값이 정확한 1차원 적분 표현식을 갖는다는 점입니다. 즉, 지수적으로 많은 수의 특징 연합에 대한 가중 합이 $[0,1]$ 구간에서 $(d-1)$차 다항식의 적분으로 단순화되며, 여기서 $d$는 총 특징의 수입니다. 이를 통해 노드 수 $m_q$가 $m_q \geq \lceil d/2 \rceil$을 만족할 때마다 증명 가능하게 정확(provably exact)하며, 그렇지 않은 경우에도 오차가 $m_q$에 따라 기하급수적으로 감소함이 증명된 거의 정확한 근사를 제공하는 가우스-르장드르 구적법(Gauss-Legendre quadrature) 기법을 도출합니다. 실제 환경에서는 수천 개의 특징이 존재하더라도 수백 개의 노드만으로 고정밀 추정치를 얻을 수 있습니다. 이러한 정식화를 바탕으로, 본 논문은 로그 공간(log-space) 평가를 통한 수치적으로 안정한 구현과 함께, $O(d\,m_q)$의 총 작업량(work) 및 $O(\log d)$의 병렬 시간(parallel time)을 달성하는 결합 스캔(associative scan) 기본 연산 기반의 효율적인 병렬 구현을 유도합니다. 실험을 통해 QuadraSHAP이 테스트된 모든 구성에서 가장 빠른 수치적으로 안정한 방법임을 보여줍니다.
Beyond Shapley: Efficient Computation of Asymmetric Shapley Values
Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching
입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습
Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks
인공 신경망(ANN)으로 자연 현상을 모델링하면 높은 정확도의 예측을 제공하는 경우가 많습니다. 그러나 ANN은 과잉 파라미터화(over-parameterization)로 인해 해석이 복잡해지고 불확실성 문제가 발생하는 경우가 많습니다. 베이지안 신경망(BNN)은 가중치를 확률 분포로 표현함으로써 예측 불확실성 평가를 가능하게 하여 후자의 문제를 해결합니다. 잠재 이진 베이지안 신경망(LBBNN)은 구조적 불확실성을 추가로 처리하고 불필요한 가중치를 제거하여 모델을 희소화합니다. 본 논문은 공변량(covariate)이 이후의 임의의 층으로 스킵하거나 제외될 수 있도록 함으로써 LBBNN을 발전시켜 네트워크를 단순화하고 예측에 대한 입력의 영향을 명확히 합니다. 이를 통해 적절한 경우 더 단순한 구조(예: 선형 모델 또는 상수 절편 전용 모델)를 학습할 수 있습니다. 또한 입력 스킵 LBBNN(ISLaB) 방법은 표준 LBBNN 대비 네트워크 밀도를 크게 줄여, 소규모 네트워크에서는 99% 이상, 대규모 네트워크에서는 99.9% 이상의 감소를 달성하면서도 높은 예측 정확도와 불확실성 정량화를 유지합니다. 예를 들어, MNIST에서 단 935개의 가중치만으로 97% 정확도와 우수한 캘리브레이션을 달성하여 신경망 압축 분야에서 최신 성능(state-of-the-art)에 도달했습니다. 또한 제안된 방법은 실제 공변량을 정확하게 식별하고 시스템 비선형성을 조정합니다. 주요 기여는 활성 경로(active path)의 도입으로, LBBNN 프레임워크 내에서 직접 설계된 전역 및 지역 설명을 강화한다는 점입니다. 후자는 이론적 보증이 있는 정확한 방법으로, 사후(post hoc) 외부 도구를 필요로 하지 않습니다.
지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근
Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.
베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
15 pages