Toward Improving the Evaluation of Visual Attention Models: a Crowdsourcing Approach
원문 초록
Human visual attention is a complex phenomenon. A computational modeling of this phenomenon must take into account where people look in order to evaluate which are the salient locations (spatial distribution of the fixations), when they look in those locations to understand the temporal development of the exploration (temporal order of the fixations), and how they move from one location to another with respect to the dynamics of the scene and the mechanics of the eyes (dynamics). State-of-the-art models focus on learning saliency maps from human data, a process that only takes into account the spatial component of the phenomenon and ignore its temporal and dynamical counterparts. In this work we focus on the evaluation methodology of models of human visual attention. We underline the limits of the current metrics for saliency prediction and scanpath similarity, and we introduce a statistical measure for the evaluation of the dynamics of the simulated eye movements. While deep learning models achieve astonishing performance in saliency prediction, our analysis shows their limitations in capturing the dynamics of the process. We find that unsupervised gravitational models, despite of their simplicity, outperform all competitors. Finally, exploiting a crowd-sourcing platform, we present a study aimed at evaluating how strongly the scanpaths generated with the unsupervised gravitational models appear plausible to naive and expert human observers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CASE: 클래스 민감한 설명을 위한 대조적 활성화
CASE: Contrastive Activation for Class-Sensitive Explanations
돌출도 기법(saliency method)은 모델의 예측과 관련이 있다고 여겨지는 입력 특징을 시각화하는 데 널리 사용됩니다. 그러나 이러한 시각적 그럴듯함은 중대한 한계점을 가릴 수 있습니다. 본 연구에서는 동일한 입력에 대해 서로 경쟁하는 클래스 레이블을 구별하는 기법의 능력인 클래스 민감도(class sensitivity)에 대한 진단 테스트를 제안합니다. 광범위한 실험을 통해, 널리 사용되는 많은 돌출도 기법이 클래스 레이블과 상관없이 거의 동일한 설명을 생성하여 그 신뢰성에 의문을 제기함을 보여줍니다. 우리는 이러한 클래스 둔감성(class-insensitive) 동작이 다양한 아키텍처와 데이터셋에 걸쳐 지속됨을 발견하였으며, 이는 이러한 실패 모드가 특정 모델에 국한된 것이 아니라 구조적임을 시사합니다. 이러한 발견에 착안하여, 우리는 예측된 클래스에 대해 고유하게 구별되는 특징을 분리하는 대조적 설명 기법인 CASE를 소개합니다. 제안된 진단과 섭동(perturbation) 기반 충실도(fidelity) 테스트를 사용하여 CASE를 평가하고, 기존 기법보다 충실하며 더 클래스 특정적인(class-specific) 설명을 생성함을 보여줍니다.
CSPENet: Contour-Aware and Saliency Priors Embedding Network for Infrared Small Target Detection
Uncertainty Guided Refinement for Fine-Grained Salient Object Detection
Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes
A Deep Learning Framework for Visual Attention Prediction and Analysis of News Interfaces
Textured Mesh Saliency: Bridging Geometry and Texture for Human Perception in 3D Graphics
토론
이 논문과 연결된 포럼 글이 아직 없습니다.