On the explainable properties of 1-Lipschitz Neural Networks: An Optimal Transport Perspective
원문 초록
Input gradients have a pivotal role in a variety of applications, including adversarial attack algorithms for evaluating model robustness, explainable AI techniques for generating Saliency Maps, and counterfactual explanations.However, Saliency Maps generated by traditional neural networks are often noisy and provide limited insights. In this paper, we demonstrate that, on the contrary, the Saliency Maps of 1-Lipschitz neural networks, learned with the dual loss of an optimal transportation problem, exhibit desirable XAI properties:They are highly concentrated on the essential parts of the image with low noise, significantly outperforming state-of-the-art explanation approaches across various models and metrics. We also prove that these maps align unprecedentedly well with human explanations on ImageNet.To explain the particularly beneficial properties of the Saliency Map for such models, we prove this gradient encodes both the direction of the transportation plan and the direction towards the nearest adversarial attack. Following the gradient down to the decision boundary is no longer considered an adversarial attack, but rather a counterfactual explanation that explicitly transports the input from one class to another. Thus, Learning with such a loss jointly optimizes the classification objective and the alignment of the gradient, i.e. the Saliency Map, to the transportation plan direction.These networks were previously known to be certifiably robust by design, and we demonstrate that they scale well for large problems and models, and are tailored for explainability using a fast and straightforward method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안전하지 않은 입력 탐지를 넘어서: 다중 턴 LLM 안전성 실패에 대한 반사실적 기준 증거 귀속
Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures
대규모 언어 모델(LLM)이 대화형 어시스턴트에서 고급 에이전트(agent) 시스템으로 발전함에 따라, 가드레일(guardrail)의 실패는 적대적 의도를 유해한 실행으로 이어지게 할 수 있다. 그러나 대부분의 가드레일 평가 프레임워크는 결과에만 초점을 맞추어 사용자 요청이 안전한지 안전하지 않은지만을 평가한다. 이러한 접근은 적대적 의도가 여러 턴에 걸쳐 분산되어 있는 다중 턴 실패에는 충분하지 않다. 이에 우리는 탐지를 넘어, 대화를 안전하지 않은 궤적으로 이끄는 턴과 토큰(token)을 식별하고자 한다. 이를 뒷받침하기 위해 행동 검증(validation)과 계층적 증거 지도(tiered evidence supervision)를 갖춘 다중 턴 데이터셋을 구축한다. 이 데이터셋은 적대적 대화, 정상 쌍둥이(benign twin), 고위험 어휘를 포함한 정상 변형을 아우르는 1,762개의 대화로 구성된다. 우리는 안전 위반을 예측하고 이를 기여한 사용자 턴과 토큰 구간(span)에 귀속시키는 경량 계층적 귀속 모델을 학습한다. 이 모델은 강력한 탐지 성능(F1=0.988)을 달성하며, 귀속된 토큰 중 상위 15%를 제거하면 적대적 분류(classification) 신뢰도가 51.1% 감소한다. 또한 이 모델은 고위험 어휘를 포함한 정상 대화에서도 낮은 오탐률을 유지하여, 경계선상의 정상 대화와 정상 고위험 어휘 대화 모두에서 오탐률이 1% 미만인 반면, 키워드 기반 표면 위험 기준선(baseline)은 각각 37.3%와 94.7%를 기록했다. 독립적인 사람 주석은 이 모델의 귀속 성능을 뒷받침하며, 상위 5개 귀속 턴에 사람이 식별한 증거 포함 턴이 포함된 비율은 적대적 사례의 84.5%였다.
Analyzing and Improving the Robustness of Tabular Classifiers using Counterfactual Explanations
Learning Time Series Counterfactuals via Latent Space Representations
Counterfactual Explanations for Survival Prediction of Cardiovascular ICU Patients
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.