Causal Analysis for Robust Interpretability of Neural Networks
원문 초록
Interpreting the inner function of neural networks is crucial for the trustworthy development and deployment of these black-box models. Prior interpretability methods focus on correlation-based measures to attribute model decisions to individual examples. However, these measures are susceptible to noise and spurious correlations encoded in the model during the training phase (e.g., biased inputs, model overfitting, or misspecification). Moreover, this process has proven to result in noisy and unstable attributions that prevent any transparent understanding of the model's behavior. In this paper, we develop a robust interventional-based method grounded by causal analysis to capture cause-effect mechanisms in pre-trained neural networks and their relation to the prediction. Our novel approach relies on path interventions to infer the causal mechanisms within hidden layers and isolate relevant and necessary information (to model prediction), avoiding noisy ones. The result is task-specific causal explanatory graphs that can audit model behavior and express the actual causes underlying its performance. We apply our method to vision models trained on classification tasks. On image classification tasks, we provide extensive quantitative experiments to show that our approach can capture more stable and faithful explanations than standard attribution-based methods. Furthermore, the underlying causal graphs reveal the neural interactions in the model, making it a valuable tool in other applications (e.g., model repair).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SGML: A Symmetric Graph Metric Learning Framework for Efficient Hyperspectral Image Classification
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
MODA General Attribute Suite: 패션 속성 추출을 위한 4트랙 평가 벤치마크
The MODA General Attribute Suite: A Four-Track Evaluation Benchmark for Fashion Attribute Extraction
패션 속성 추출(fashion attribute extraction)은 일관성 없이 평가되고 있다: 결과는 서로 다른 문제를 제기하는 이미지 유형 전반에 걸쳐 단일 집계 수치로 보고되고, 이미지에 보이지 않는 필드는 일반적인 음성(negative)으로 채점되며, 데이터셋 간 어휘 불일치(vocabulary mismatch)의 영향은 인정되지만 측정되지는 않는다. 우리는 이러한 문제들을 설계상 분리하여 유지하는 4트랙 벤치마크인 MODA General Attribute Suite를 공개한다. 각 트랙(국소화된 의류 크롭(localized garment crop), 카탈로그 제품 이미지, 적용 가능성(applicability)을 고려한 전신 사진, 제품 텍스트)은 각각 고정된(frozen) 테스트 세트, 입력 계약(input contract), 지표(metric), 누출 단위(leakage unit)를 가지며, 트랙 간에는 결코 평균을 내지 않는다. 프로토콜은 레이블을 보지 않는(label-blind) 예측, 레이블을 공개하기 전 예측 파일의 SHA-256 커밋(commitment), 폐쇄 실패형(fail-closed) 채점기, 그리고 각 트랙의 고유한 누출 단위에서의 10,000-샘플 페어드 클러스터 부트스트랩(paired cluster bootstrap)을 요구한다; 승급(promotion)에는 유리한 평균이 아니라 모든 트랙에서 양의 구간(positive interval)이 요구된다. 우리는 채점기(scorer), 분할 빌더(split builder), 주요 결과에 포함된 모든 이미지 트랙 시스템과 성능이 뒤처진 실행(run)에 대해서도 해시를 포함한 자체 예측 파일, 그리고 4개 트랙 중 3개에 대한 MODA_NER(V) 모델 체크포인트를 공개한다. 텍스트 모델은 배포되지 않으나 그 벤치마크는 배포된다. 우리는 기준선(baseline) 결과, 이를 개선하지 못한 6가지 개입(intervention), 그리고 근거의 한계를 보고한다. 의류 크롭(garment-crop) 트랙에서는 헤드라인 결과가 벤치마크 자체의 설계에 얼마나 의존하는지도 측정한다: 두 최상위 시스템의 순위는 필드를 마이크로 평균(micro-average)할지 매크로 평균(macro-average)할지에 따라 달라지며, 프로토콜이 판정하는 셀(cell)의 3분의 2는 어노테이션(annotation)이 전혀 없고, 적용 가능성 판단(applicability decision)을 비활성화하면 속성 마이크로 F1(micro-F1)이 0.63에서 0.27로 떨어진다. 따라서 이 점수의 대부분은 원본 레이블로는 판정할 수 없는 부재(absence) 판단에 의존하고 있다. 이 버전에서는 또한 추론(inference) 전처리 결함이 영향을 미쳤던 외부 비교의 수치 하나를 수정하였다.
억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화
Inhibited Self-Attention: Sharpening Focus in Vision Transformers
비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.