Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
원문 초록
Visual saliency patterns are the result of a variety of factors aside from the image being parsed, however existing approaches have ignored these. To address this limitation, we propose a novel saliency estimation model which leverages the semantic modelling power of conditional generative adversarial networks together with memory architectures which capture the subject's behavioural patterns and task dependent factors. We make contributions aiming to bridge the gap between bottom-up feature learning capabilities in modern deep learning architectures and traditional top-down hand-crafted features based methods for task specific saliency modelling. The conditional nature of the proposed framework enables us to learn contextual semantics and relationships among different tasks together, instead of learning them separately for each task. Our studies not only shed light on a novel application area for generative adversarial networks, but also emphasise the importance of task specific saliency modelling and demonstrate the plausibility of fully capturing this context via an augmented memory architecture.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CASE: 클래스 민감한 설명을 위한 대조적 활성화
CASE: Contrastive Activation for Class-Sensitive Explanations
돌출도 기법(saliency method)은 모델의 예측과 관련이 있다고 여겨지는 입력 특징을 시각화하는 데 널리 사용됩니다. 그러나 이러한 시각적 그럴듯함은 중대한 한계점을 가릴 수 있습니다. 본 연구에서는 동일한 입력에 대해 서로 경쟁하는 클래스 레이블을 구별하는 기법의 능력인 클래스 민감도(class sensitivity)에 대한 진단 테스트를 제안합니다. 광범위한 실험을 통해, 널리 사용되는 많은 돌출도 기법이 클래스 레이블과 상관없이 거의 동일한 설명을 생성하여 그 신뢰성에 의문을 제기함을 보여줍니다. 우리는 이러한 클래스 둔감성(class-insensitive) 동작이 다양한 아키텍처와 데이터셋에 걸쳐 지속됨을 발견하였으며, 이는 이러한 실패 모드가 특정 모델에 국한된 것이 아니라 구조적임을 시사합니다. 이러한 발견에 착안하여, 우리는 예측된 클래스에 대해 고유하게 구별되는 특징을 분리하는 대조적 설명 기법인 CASE를 소개합니다. 제안된 진단과 섭동(perturbation) 기반 충실도(fidelity) 테스트를 사용하여 CASE를 평가하고, 기존 기법보다 충실하며 더 클래스 특정적인(class-specific) 설명을 생성함을 보여줍니다.
CSPENet: Contour-Aware and Saliency Priors Embedding Network for Infrared Small Target Detection
Uncertainty Guided Refinement for Fine-Grained Salient Object Detection
Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes
A Deep Learning Framework for Visual Attention Prediction and Analysis of News Interfaces
Textured Mesh Saliency: Bridging Geometry and Texture for Human Perception in 3D Graphics
토론
이 논문과 연결된 포럼 글이 아직 없습니다.