PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.04380v3cs.CV

과제 산술을 통한 자기설명형 비전 트랜스포머에서 예측 전용 비전 트랜스포머로의 시각적 설명 가능성 전이

Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic

예측과 설명의 효율성이 모두 요구되는 이미지 분류 상황에서는, 한 번의 추론으로 두 작업을 모두 수행하는 자기설명형 모델이 효과적이다. 그러나 이미 예측 전용 모델을 보유한 사용자에게는 새로운 자기설명형 모델을 처음부터 학습하는 것이 레이블링과 계산 양면에서 비용이 크다. 본 연구는 소스 도메인에서 학습된 자기설명형 Vision Transformer(ViT) 모델의 시각적 설명 능력을, 타깃 도메인의 시각-언어 모델(VLM) 기반 제로샷 가능 예측 전용 ViT 모델로, 타깃 측 설명 지도 없이 과제 산술(task arithmetic)을 통해 전이하는 방법을 제안한다. 제안 방법은 과제 산술 프레임워크에 기반하여 소스 도메인의 설명 지도로부터 유도된 설명 가능성 벡터를 더함으로써 타깃 모델에 설명 능력을 부여한다. 10개의 다양한 타깃 데이터셋에 대한 실험에서, 패치 수준 설명 지도로 증강된 ImageNet-1k에서 학습한 단일 설명 가능성 벡터가 일관되게 전이되어 분류 정확도를 대체로 유지하면서 설명 품질을 향상시킴을 보였다. 모델 내부 충실도 평가와 통제 벡터(예: 동일한 노름의 무작위 벡터)와의 비교는, 전이된 설명이 모델 자신의 예측에 충실하며 그 효과가 설명 가능성 벡터에 특유한 것임을 보여준다. 전이 자체를 넘어, 우리는 전이 성공 여부를 모델 내부 특징만으로 사전에 예측할 수 있는지를 추가로 조사하였고, 고정된 소스에 대해 소수의 그러한 특징이 보류된 타깃에서의 전이 결과에 대해 의미 있는 신호를 담고 있음을 발견했다. 코드는 https://github.com/yuyay/explainability_vector 에서 이용할 수 있다.