arXiv:1906.02032

c-Eval: A Unified Metric to Evaluate Feature-based Explanations via Perturbation

Minh N. Vu, Truc D. Nguyen, NhatHai Phan, Ralucca Gera, My T. Thai

제출 2019-06-05

원문 초록

In many modern image-classification applications, understanding the cause of model's prediction can be as critical as the prediction's accuracy itself. Various feature-based local explanations generation methods have been designed to give us more insights on the decision of complex classifiers. Nevertheless, there is no consensus on evaluating the quality of different explanations. In response to this lack of comprehensive evaluation, we introduce the c-Eval metric and its corresponding framework to quantify the feature-based local explanation's quality. Given a classifier's prediction and the corresponding explanation on that prediction, c-Eval is the minimum-distortion perturbation that successfully alters the prediction while keeping the explanation's features unchanged. We then demonstrate how c-Eval can be computed using some modifications on existing adversarial generation libraries. To show that c-Eval captures the importance of input's features, we establish the connection between c-Eval and the features returned by explainers in affine and nearly-affine classifiers. We then introduce the c-Eval plot, which not only displays a strong connection between c-Eval and explainers' quality, but also helps automatically determine explainer's parameters. Since the generation of c-Eval relies on adversarial generation, we provide a demo of c-Eval on adversarial-robust models and show that the metric is applicable in those models. Finally, extensive experiments of explainers on different datasets are conducted to support the adoption of c-Eval in evaluating explainers' performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Prediction, Image Classification

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2607.22776v1cs.LG공통 태그 Prediction, Image Classification

EEG 신호와 CNN을 이용한 rTMS 우울증 치료 결과 예측

Predicting the Outcome of rTMS Depression Therapy using EEG Signals and CNN

반복 경두개 자기 자극(repetitive transcranial magnetic stimulation, rTMS)은 주요 우울 장애(Major Depressive Disorder, MDD)에 대한 비침습적 치료법이다. 본 연구에서는 EEG 신호를 표현하기 위해 두 가지 시간-주파수 방법을 사용하여 이미지를 생성한다: 유클리드 거리를 포함한 푸리에-베셀 급수 전개(Fourier-Bessel Series Expansion with Euclidean Distance, FBSE-ED)와 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT). 우리는 rTMS 우울증 치료 결과를 예측하는 효율적인 심층 학습 분류기를 제안한다. 본 연구에서는 결과의 바이어스를 피하기 위해 10-fold 교차 검증 전략을 사용하여 사설 rTMS 데이터베이스로 경량 맞춤형 합성곱 신경망(Convolutional Neural Network, CNN)을 학습한다. 결과는 FBSE-ED 표현이 93.60%의 최고 분류 정확도를 달성하여 전통적인 시간-주파수 기법(DWT)을 능가함을 보여준다. 또한 FBSE-ED 이미지 표현 기법을 적용한 제안 아키텍처는 더 복잡한 EEG 특화 심층 학습 모델(EEGNet, DeepConvNet, SleepEEGNet)보다 3.62-10.72%, 사전학습 모델(Xception, DenseNet201, MobileNetV2)보다 23.03-27.35% 더 우수한 성능을 보인다. 추가 실험을 위해 또 다른 사설 rTMS 데이터베이스를 테스트 데이터베이스로 활용하여 제안 모델의 견고성을 입증한다. 우리 결과는 고급 신호 분해와 심층 학습의 통합이 rTMS 치료 반응의 조기 예측을 촉진하고 보다 표적화된 임상 의사결정을 지원할 수 있음을 시사한다. 제안 프레임워크는 해석 가능하고 계산 효율적이며, 실제 지역 정신과 클리닉 배포에 적합하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.