살리언시 맵(saliency map)은 모델의 동작을 보존하기에 충분한 이미지 영역을 식별할 때 가장 유용하다. 우리는 보존 목적 함수를 사용하여 소프트 마스크를 직접 최적화하는 충분성 기반 살리언시 방법인 SEAMS를 소개한다. 클래스 확률, CLS 임베딩, 또는 토큰 표현과 같이 고정된 미분 가능한 모델 출력이 주어지면, SEAMS는 선택된 출력을 보존하는 컴팩트한 마스크를 탐색한다. 이 접근법은 소프트 마스크, 학습 가능한 버짓(budget), 그리고 쿼리 이미지만으로 생성된 3방향 이미지 합성에 기반한 단순한 최적화 프레임워크에 의존한다. 그 결과, 보조 방해 데이터셋, 아키텍처별 귀인 메커니즘, 또는 미분 가능한 top-k 완화가 필요하지 않다. 고정된 ViT-S/16 및 ConvNeXt 모델을 이용한 실험에서, 동일한 최적화 파이프라인이 보존 대상만 변경함으로써 객체 수준, 클래스 조건부, 토큰 수준 설명을 생성할 수 있음을 보인다. 결과 마스크는 컴팩트하고 해석 가능하며, 무작위 초기화에 걸쳐 안정적이고, 삽입 및 삭제 벤치마크에서 경쟁력 있는 성능을 보인다. 또한 우리의 결과는 서로 다른 아키텍처가 유사한 보존 충실도를 달성하면서도 종종 서로 다른 충분한 증거에 의존함을 나타내며, 이는 시각적 설명의 아키텍처 의존적 특성을 부각시킨다.
컴퓨터 비전(CV) 모델은 의료 응용 분야에서 매우 효과적이 되었지만, 블랙박스 특성은 여전히 임상의의 신뢰를 약화시키고 있다. 임상 워크플로에서 흉부 X-ray 분류기는 자연어 설명을 생성하기 위해 비전-언어 모델(VLM)과 점점 더 많이 결합되고 있다. 그러나 이러한 시스템은 시각 모델의 근본적인 불투명성을 해결하지 않은 채 언어적 유창성만을 추가한다. 스플라인 기반 구성 요소가 본질적으로 해석 가능한 함수 단위를 제공하는 Kolmogorov-Arnold Networks(KAN)의 등장과 함께, 우리는 이러한 아키텍처적 투명성을 활용하여 더 신뢰할 수 있는 텍스트 설명을 생성할 수 있는지 조사한다. 우리는 KAN의 기호적 투명성을 활용하여 VLM 추론을 그라운딩하는 최초의 프레임워크인 KANEx를 제안한다. 이 해석 가능성은 또한 그래디언트 근사가 아닌 KAN 모델에서 직접 유도된 새로운 히트맵 생성 방법인 KAN-Map을 설계할 수 있게 했다. 우리는 향상된 설명 가능성을 위해 이러한 그라운딩된 컨텍스트를 다운스트림 VLM에 입력한다. MIMIC-CXR 데이터셋에서 벤치마크한 결과, ResNet/ViT 베이스라인을 갖춘 KAN 기반 아키텍처가 의미적 유사도를 향상시키는 동시에 훨씬 더 충실한 saliency map을 생성함을 보여준다. KAN 아키텍처는 시각적 국소화와 다운스트림 추론 품질을 10% 향상시킨다. 우리의 발견은 언어적 설명과 시각적 귀속(attribution)을 수학적으로 해석 가능한 단위에 그라운딩하는 것이 신뢰할 수 있는 의료 AI를 향한 필수적인 단계임을 시사한다.
살리언시 맵(saliency map) 시각화는 영역을 지정하여 이미지 기반 AI 예측을 설명하지만, 이는 종종 비직관적이고 의미적으로 불명확하여 해석 가능성 격차를 남깁니다. 우리는 AI 설명이 직관적이어야 한다고 주장합니다. 즉, 사용자 지식과 일관되면서도 해석을 가속화하기 위해 단순하고 선택적이어야 합니다. 예술적 드로잉에서 영감을 받아, 우리는 직관적인 이미지 기반 설명 가능한 AI(XAI)를 위한 스케치 기반 시각적 설명을 생성하는 SketchXplain을 제안합니다. 살리언시 맵, 개념 병목 모델(concept-bottleneck models), 스케치 최적화의 기법을 결합하여, SketchXplain은 일관된 관찰 요소를 선택하기 위해 살리언시를 통합하고, 지식의 일관성을 위한 개념, 이를 나타내는 단서, 그리고 단순성을 위한 추상화를 통합합니다. 얼굴 표정 인식에 대한 평가에서, 모델링 및 사용자 연구는 SketchXplain이 살리언시 맵이나 단순한 그림보다 더 부합하는 시각화로 더 빠른 해석을 지원했음을 보여주었습니다. 피부 병변 진단에 대한 추가 평가에서는 SketchXplain이 질병 증상을 더 일관되게 시각화하여 비전문가 진단을 더 잘 지원함을 발견했습니다. 따라서 이 연구는 직관적이고, 단순하며, 일관되고, 빠른 이미지 기반 XAI 시각화를 위한 스케치의 가치를 보여줍니다.