arXiv:2306.05527

Teaching AI to Teach: Leveraging Limited Human Salience Data Into Unlimited Saliency-Based Training

Colton R. Crum, Aidan Boyd, Kevin Bowyer, Adam Czajka

제출 2023-06-08

원문 초록

Machine learning models have shown increased accuracy in classification tasks when the training process incorporates human perceptual information. However, a challenge in training human-guided models is the cost associated with collecting image annotations for human salience. Collecting annotation data for all images in a large training set can be prohibitively expensive. In this work, we utilize "teacher" models (trained on a small amount of human-annotated data) to annotate additional data by means of teacher models' saliency maps. Then, "student" models are trained using the larger amount of annotated training data. This approach makes it possible to supplement a limited number of human-supplied annotations with an arbitrarily large number of model-generated image annotations. We compare the accuracy achieved by our teacher-student training paradigm with (1) training using all available human salience annotations, and (2) using all available training data without human salience annotations. We use synthetic face detection and fake iris detection as example challenging problems, and report results across four model architectures (DenseNet, ResNet, Xception, and Inception), and two saliency estimation methods (CAM and RISE). Results show that our teacher-student training paradigm results in models that significantly exceed the performance of both baselines, demonstrating that our approach can usefully leverage a small amount of human annotations to generate salience maps for an arbitrary amount of additional training data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.07327v4cs.CV공통 태그 Saliency Prediction공식 코드 · Papers with Code

CASE: 클래스 민감한 설명을 위한 대조적 활성화

CASE: Contrastive Activation for Class-Sensitive Explanations

돌출도 기법(saliency method)은 모델의 예측과 관련이 있다고 여겨지는 입력 특징을 시각화하는 데 널리 사용됩니다. 그러나 이러한 시각적 그럴듯함은 중대한 한계점을 가릴 수 있습니다. 본 연구에서는 동일한 입력에 대해 서로 경쟁하는 클래스 레이블을 구별하는 기법의 능력인 클래스 민감도(class sensitivity)에 대한 진단 테스트를 제안합니다. 광범위한 실험을 통해, 널리 사용되는 많은 돌출도 기법이 클래스 레이블과 상관없이 거의 동일한 설명을 생성하여 그 신뢰성에 의문을 제기함을 보여줍니다. 우리는 이러한 클래스 둔감성(class-insensitive) 동작이 다양한 아키텍처와 데이터셋에 걸쳐 지속됨을 발견하였으며, 이는 이러한 실패 모드가 특정 모델에 국한된 것이 아니라 구조적임을 시사합니다. 이러한 발견에 착안하여, 우리는 예측된 클래스에 대해 고유하게 구별되는 특징을 분리하는 대조적 설명 기법인 CASE를 소개합니다. 제안된 진단과 섭동(perturbation) 기반 충실도(fidelity) 테스트를 사용하여 CASE를 평가하고, 기존 기법보다 충실하며 더 클래스 특정적인(class-specific) 설명을 생성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.