Causality-Based Feature Importance Quantifying Methods: PN-FI, PS-FI and PNS-FI
원문 초록
In the current ML field models are getting larger and more complex, and data used for model training are also getting larger in quantity and higher in dimensions. Therefore, in order to train better models, and save training time and computational resources, a good Feature Selection (FS) method in the preprocessing stage is necessary. Feature importance (FI) is of great importance since it is the basis of feature selection. Therefore, this paper creatively introduces the calculation of PN (the probability of Necessity), PN (the probability of Sufficiency), and PNS (the probability of Necessity and Sufficiency) of Causality into quantifying feature importance and creates 3 new FI measuring methods, PN-FI, which means how much importance a feature has in image recognition tasks, PS-FI that means how much importance a feature has in image generating tasks, and PNS-FI which measures both. The main body of this paper is three RCTs, with whose results we show how PS-FI, PN-FI, and PNS-FI of 3 features, dog nose, dog eyes, and dog mouth are calculated. The experiments show that firstly, FI values are intervals with tight upper and lower bounds. Secondly, the feature dog eyes has the most importance while the other two have almost the same. Thirdly, the bounds of PNS and PN are tighter than the bounds of PS.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
단 하나의 순열이면 충분하다: 빠르고 결정론적인 특징 중요도 및 모델 스트레스 테스트
One Permutation Is All You Need: Fast, Deterministic Feature Importance and Model Stress-Testing
머신러닝 모델에서 특징(feature) 기여도를 신뢰성 있게 추정하는 것은 투명성, 알고리즘 공정성 및 규제 준수를 위해 필수적입니다. 순열 특징 중요도(permutation feature importance)가 널리 사용되고 있으나, 전통적인 구현 방식은 반복적인 몬테카를로 셔플링에 의존하므로 상당한 계산 오버헤드와 확률적 불안정성을 초래합니다. 본 논문에서는 $B$개의 무작위 순열을 단 하나의 최대-최소 순위 최적(max-min rank-optimal) 결정론적 순열로 대체함으로써 추정 분산을 제거하고 복잡도를 $O(B \cdot n \cdot p)$에서 $O(n \cdot p)$로 줄이면서도 실제 중요도(ground-truth importance)와의 상관관계를 유지하거나 향상시킬 수 있음을 보여줍니다. 위치-척도(location-scale) 특징 분포 하에서, 오목(concave) 모델 민감도 하에서의 향상된 중요도 추정과 함께 척도 조정된 선형 회귀 계수의 정확한 복원을 정식으로 증명합니다. 우리는 이 결정론적 프레임워크를 두 가지 상호보완적인 차원으로 확장합니다. 첫째, 시스템적 특징 중요도(Systemic Feature Importance, SFI)는 경험적 특징 상관관계를 통합하여 대리 변수를 통한 간접적인 특징 의존성을 정량화합니다. 둘째, 중요도 방향(Importance Direction)은 공변량 변위와 출력 변화 간의 일치도를 측정하여 스칼라 중요도를 부호가 있는 방향성 표현으로 확장합니다. 200개에 가까운 시뮬레이션 시나리오에 걸친 광범위한 실증적 검증(validation)은 고차원 및 낮은 신호 대 잡음비 체계에서 우수한 바이어스-분산 트레이드오프를 입증합니다. 마지막으로, 두 가지 실제 신용 위험 사례 연구를 통해 SFI와 중요도 방향을 결합함으로써 실무자와 규제 기관이 보호 대상 속성에 대한 숨겨진 의존성의 크기와 순 부호를 모두 모델에서 감사(audit)할 수 있음을 보여주며, 모델 거버넌스를 위한 원칙적이고 투명하며 확장 가능한 프레임워크를 제공합니다.
랜덤 포레스트에서 국소적으로 중요한 부호가 있는 특징 및 상호작용의 증명 가능한 복구
Provable Recovery of Locally Important Signed Features and Interactions from Random Forest
특징 및 상호작용 중요도(FII) 방법은 복잡한 예측 모델에서 입력 변수와 그 상호작용의 관련성을 평가하기 위해 지도 학습에서 필수적입니다. 개인 맞춤형 의학과 같은 많은 도메인에서는 전반적인 특징 중요도를 요약하는 전역 점수보다는 개별 예측에 대한 국소적 해석이 종종 요구됩니다. 랜덤 포레스트(RF)는 이러한 설정에서 널리 사용되며, 기존의 해석 가능성 방법은 일반적으로 모델 특화 통찰을 제공하기 위해 트리 구조와 분할 통계량을 활용합니다. 그러나 RF에 대한 국소적 FII 방법의 이론적 이해는 여전히 제한적이어서, 개별 예측에 대한 높은 중요도 점수를 해석하는 방법이 불분명합니다. 우리는 의사결정 경로를 따라 특징의 빈번한 동시 발생을 식별하여 전역 패턴과 주어진 테스트 포인트에 특정한 경로에서 관찰된 패턴을 결합하는 새로운 국소적이고 모델 특화적인 FII 방법을 제안합니다. 우리는 우리의 방법이 국소적 스파이크 희소(LSS) 모델 하에서 실제 국소 신호 특징과 그 상호작용을 일관되게 복구하며, 또한 크거나 작은 특징 값이 예측을 주도하는지 여부를 식별한다는 것을 증명합니다. 우리는 시뮬레이션 연구와 실제 데이터 예제를 통해 우리의 방법과 이론적 결과의 유용성을 입증합니다.
CaliciBoost: Performance-Driven Evaluation of Molecular Representations for Caco-2 Permeability Prediction
Financial Fraud Detection Using Explainable AI and Stacking Ensemble Methods
Feature Selection via GANs (GANFS): Enhancing Machine Learning Models for DDoS Mitigation
베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.