arXiv:2601.06701v2 cs.LG

상관 영향 비율을 활용한 복잡한 AI 모델의 설명가능성

Explainability of Complex AI Models with Correlation Impact Ratio

Poushali Sengupta, Rabindra Khadka, Sabita Maharjan, Frank Eliassen, Yan Zhang, Shashi Raj Pandey, Pedro G. Lind, Anis Yazidi

제출 2026-01-10

저자 비고

arXiv Comments

Accepted for publication in IEEE Transactions on Artificial Intelligence

한국어 초록

복잡한 인공지능(AI) 시스템은 더 뛰어난 예측을 수행하지만 투명성이 부족한 경우가 많아 신뢰성, 해석 가능성, 안전한 배포를 저해합니다. LIME, SHAP, HSIC, SAGE와 같은 일반적인 사후(post hoc) AI 설명 방법들은 모델에 구애받지 않는(model-agnostic) 방식이지만, 상관관계가 있는 특징들의 순위를 잘못 매기는 경향이 있고 비용이 많이 드는 섭동(perturbation)을 필요로 하여 고차원 데이터로 확장되지 않는다는 한 가지 중요한 한계점이 있습니다. 본 논문에서는 모델 출력에 대한 입력 특징의 기여도를 설명하기 위한 이론적으로 근거 있고 단순하며 신뢰할 수 있는 지표인 ExCIR(Explainability through Correlation Impact Ratio)을 소개합니다. 이 지표는 노이즈 및 샘플링 변동 하에서도 안정적이고 일관성을 유지합니다. 우리는 ExCIR이 경량화된 단일 패스(single-pass) 정식화를 통해 상관된 특징들로부터 발생하는 의존성을 포착함을 입증합니다. EEG, 합성 차량 데이터, Digits, Cats-Dogs를 포함한 다양한 데이터셋에 대한 실험적 평가는 여러 도메인에 걸쳐 ExCIR의 효과성과 안정성을 검증하며, 기존 방법보다 계산 효율적이면서도 더 해석 가능한 특징 설명을 달성함을 보여줍니다. 나아가 우리는 상호 정보량(mutual information) 경계 조건 하에서 상관비(correlation ratio)와 정규상관분석(Canonical Correlation Analysis)을 통합하는 정보 이론적 기반으로 ExCIR을 확장하여, 대규모에서 다중 출력 및 클래스 조건부 설명가능성을 실현합니다.

원문 초록

Complex AI systems make better predictions but often lack transparency, limiting trustworthiness, interpretability, and safe deployment. Common post hoc AI explainers, such as LIME, SHAP, HSIC, and SAGE, are model agnostic but are too restricted in one significant regard: they tend to misrank correlated features and require costly perturbations, which do not scale to high dimensional data. We introduce ExCIR (Explainability through Correlation Impact Ratio), a theoretically grounded, simple, and reliable metric for explaining the contribution of input features to model outputs, which remains stable and consistent under noise and sampling variations. We demonstrate that ExCIR captures dependencies arising from correlated features through a lightweight single pass formulation. Experimental evaluations on diverse datasets, including EEG, synthetic vehicular data, Digits, and Cats-Dogs, validate the effectiveness and stability of ExCIR across domains, achieving more interpretable feature explanations than existing methods while remaining computationally efficient. To this end, we further extend ExCIR with an information theoretic foundation that unifies the correlation ratio with Canonical Correlation Analysis under mutual information bounds, enabling multi output and class conditioned explainability at scale.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.06701v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22508v1cs.LG공통 태그 Feature Engineering, EEG

bag-of-waves를 이용한 해석 가능한 EEG 바이오마커: 저데이터 환경을 위한 공간·시간 파형 사전

Interpretable EEG biomarkers with bag-of-waves: Spatial and temporal waveform dictionaries for low-data regimes

EEG(전기뇌파)는 신경학적 질환 진단에 널리 사용되지만, 그 분석은 보통 사전 정의된 스펙트럼 특징이나 심층 신경망에 의존한다. 사전 정의된 특징은 정보적 가치가 있는 것을 미리 고정하기 때문에 강한 바이어스를 수반하며, 심층 신경망과 파운데이션 모델은 해석하기 어렵고 대량의 데이터와 연산 자원이 필요하다. 우리는 bag-of-waves를 제안한다. 이는 레이블 없이 shift-invariant k-means를 사용하여 반복되는 EEG 파형 템플릿(atom이라고 함)의 작은 사전을 학습하는 해석 가능한 프레임워크이다. 연속 EEG 신호는 atom 토큰의 시퀀스로 변환되며, 그 토큰의 빈도는 간단한 하류 분류기 또는 클러스터링 단계에 입력된다. 이 표현을 두 가지 방식으로 확장한다: 시간적 구조를 포착하기 위해 atom 간 전이(n-gram이라고 부름)를 추가하고, 다채널 경우를 위해 단일 채널 atom에서 지역 및 채널 간 공간 atom으로 확장한다. 세 가지 상호 보완적인 데이터셋에서 방법을 검증한다. 각 데이터셋은 서로 다른 측면을 탐구한다: 동물 16마리만으로 수행한 단일 채널 마우스 유전형 클러스터링(저데이터 및 시간적 사례), 휴식 상태 치매 분류(공간적 사례), 그리고 임상 EEG 이벤트의 6분류를 위한 TUEV 벤치마크(강력한 심층 및 파운데이션 기준선과의 고데이터 비교). 세 데이터셋 모두에서 bag-of-waves는 최첨단 심층 및 파운데이션 모델과 경쟁력 있는 성능을 달성한다. 그러나 매개변수 수의 극히 일부만으로 동작하며 완전한 해석 가능성을 제공한다. 모든 atom이 검사 가능한 파형에 대응하기 때문에, 이 방법은 신경생리학자가 직접 검증할 수 있는 알려진 임상 형태학을 명시적으로 복원한다. 주요 장점은 더 무거운 모델이 적합하지 않은 저데이터 환경에서도 잘 작동한다는 점이다.

arXiv:2607.04558v1cs.CL공통 태그 Feature Engineering, EEG

EEG-SpikeAgent: 자동화된 EEG 스파이크 검출을 위한 에이전틱 폐루프 프로그램 합성

EEG-SpikeAgent: Agentic Closed-Loop Program Synthesis for Automated EEG Spike Detection

두피 뇌전도(EEG)에서 발작간 뇌전증양 방전의 자동 검출은 임상적으로 중요하지만, 최근의 고성능 딥러닝 모델들은 정확도를 위해 해석 가능성을 희생하는 경우가 많다. 우리는 EEG-SpikeAgent를 소개한다. 이는 대규모 언어 모델(LLM) 에이전트 시스템을 활용하여 두피 EEG에서 스파이크 검출을 위한 신호 처리 특징을 생성하는 폐루프 프로그램 합성 프레임워크이다. 이 시스템은 반복적으로 한 번에 하나의 결정론적 EEG 특징 모듈을 제안하고, 생성된 코드를 EEG에서 실행하여 표 형식의 특징을 생성하며, 표 형식 분류기를 통해 성능을 평가하고, 실행 수준 메트릭을 요약한 후, 정교화를 위해 구조화된 진단 결과를 모델에 피드백한다. 반복 과정에서 EEG-SpikeAgent는 모델 성능에 기반한 후보 신호 특징과 결정 규칙을 제안하고 정교화한다. 우리는 EEG-SpikeAgent를 VEPISET에서 평가하였다. 이는 2,516개의 방전 포함 에포크와 22,933개의 비방전 에포크로 구성된 4초 에포크의 공개 29채널 데이터셋이다. 그래디언트 부스팅 트리 분류기를 사용한 5겹 교차 검증에서, 에이전트가 생성한 특징은 기본 운용 지점 기준으로 수신자 조작 특성 곡선 아래 면적 0.935, 균형 정확도 0.699, F1 점수 0.557, 민감도 0.401, 특이도 0.996을 달성하였다. 민감도 0.80의 운용 지점에서 평균 정밀도는 0.470, 평균 특이도는 0.900이었다. 아티팩트 인식 특징 생성은 스파이크만을 대상으로 한 특징 탐색에 비해 균형 정확도와 F1 점수를 향상시켰다. 이러한 결과는 LLM 기반 프로그램 합성이 임상 및 방법론적 검토를 위해 감사 가능하고 검사 가능한 코드 기반 방식으로 EEG 특징 공학을 자동화할 수 있음을 시사한다.

arXiv:2606.22258v1cs.LG공통 태그 Feature Engineering, EEG

수작업 특징에서 기능적 엣지 학습으로: EEG 발작 탐지 프레임워크의 진화

From Handcrafted Features to Functional Edge Learning: Evolution of EEG Seizure Detection Frameworks

뇌전도(EEG) 분석은 여전히 간질 진단 및 발작 탐지의 임상적 금표준이다. 심층 학습(DL)이 자동화된 EEG 해석을 크게 발전시켰지만, 통제된 실험 환경에서 일상적인 임상 배포로의 전환은 근본적인 아키텍처 결함으로 인해 심각한 병목을 겪고 있다. 표준 DL 모델은 임상적 해석 가능성이 부족한 불투명한 블랙박스로 작동하며, 균형 잡힌 대량의 주석 데이터를 요구하고, 자원이 제한된 웨어러블 또는 이식형 신경조절 장치와 호환되지 않는 높은 계산 비용을 수반한다. 본 논문은 이러한 지배적인 한계에 대한 포괄적인 검토를 제시하고, EEG 기반 발작 탐지를 위한 새로운 패러다임으로 Kolmogorov-Arnold Networks(KAN)를 탐구한다. 전통적인 뉴런의 고정된 활성화 함수를 네트워크 연결을 따라 유연하고 학습 가능한 함수로 대체함으로써, KAN은 예측 정확도와 수학적 투명성 사이의 핵심 격차를 메운다. 우리는 KAN 아키텍처가 탁월한 매개변수 효율성, 의사의 신뢰를 위한 내재적 해석 가능성, 데이터 부족 상황에서의 견고한 성능을 제공함으로써 전통적인 DL 기반 모델의 단점을 어떻게 해결하는지 체계적으로 분석한다. 궁극적으로, 본 리뷰는 KAN을 단순한 점진적 알고리즘 업데이트가 아니라, 차세대의 환자 맞춤형이며 철저히 투명한 임상 EEG 모니터링 시스템을 실현하는 데 필요한 근본적인 패러다임 전환으로 확립한다.

arXiv:2605.09028v5cs.LG공통 태그 explainable ai

권한 기반 Android 악성코드 탐지에서 도메인 이동 진단 및 완화

Diagnosing and Mitigating Domain Shift in Permission-Based Android Malware Detection

기계 학습 기반 Android 악성코드 탐지기는 도메인 이동(domain shift) 때문에 실제 배포 환경에서 자주 실패하며, 한 데이터 소스에서 학습된 모델이 다른 소스의 애플리케이션에서는 성능이 크게 떨어진다. 본 논문은 교차 도메인(cross-domain) 조건에서 권한 기반 탐지기의 일반화 가능성과 해석 가능성에 대한 포괄적인 연구를 제시한다. PerMalDroid와 NATICUSdroid라는 두 상호 보완적 데이터셋과 다섯 가지 앙상블 분류기를 사용하여, 먼저 도메인 내(intra-domain) 기준선을 설정하며 모델이 92% 이상의 정확도를 달성함을 보인다. 이어 심각한 비대칭적 성능 하락을 정량화한다. PerMalDroid에서 학습된 모델은 NATICUSdroid에 잘 일반화되지만(정확도 86%), 반대 방향에서는 정확도가 73%까지 급격히 하락한다. 설명 가능한 AI(Explainable AI) 분석은 이봉(bimodal) 특징 분포를 밝히고, 특징 중요도가 매우 불안정하며 핵심 권한(permission)이 도메인에 따라 영향력을 잃거나 얻는다는 것을 보여준다. 서로 다른 도메인의 예측 특징 집합은 근본적으로 불일치하며, 모델은 데이터셋별로 서로 다른 권한에 의존한다. 가장 중요하게, 절삭(ablation) 연구는 대부분의 모델에서 노이즈가 있는 특징 집합으로 학습할 경우 일반화가 저조함을 보여 주며, 이는 누락된 특징보다 도메인 특이적 인공물(artifact)이 더 큰 장애물임을 확인한다. 이를 완화하기 위해 공통 특징의 교집합에 기반한 하이브리드 학습 전략을 검증하였으며, 교차 도메인 성능을 성공적으로 회복하여 PerMalDroid에서 88%의 정확도를 달성하고 NATICUSdroid에서는 97%를 유지한다. 이러한 결과는 설명 가능하고 교차 도메인에 강건한 악성코드 탐지 시스템의 중요성을 강조하며, 권한 기반 Android 악성코드 탐지기의 실제 배포 개선을 위한 실용적 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.