arXiv:1711.08000

Personalization of Saliency Estimation

Bingqing Yu, James J. Clark

제출 2017-11-21

원문 초록

Most existing saliency models use low-level features or task descriptions when generating attention predictions. However, the link between observer characteristics and gaze patterns is rarely investigated. We present a novel saliency prediction technique which takes viewers' identities and personal traits into consideration when modeling human attention. Instead of only computing image salience for average observers, we consider the interpersonal variation in the viewing behaviors of observers with different personal traits and backgrounds. We present an enriched derivative of the GAN network, which is able to generate personalized saliency predictions when fed with image stimuli and specific information about the observer. Our model contains a generator which generates grayscale saliency heat maps based on the image and an observer label. The generator is paired with an adversarial discriminator which learns to distinguish generated salience from ground truth salience. The discriminator also has the observer label as an input, which contributes to the personalization ability of our approach. We evaluate the performance of our personalized salience model by comparison with a benchmark model along with other un-personalized predictions, and illustrate improvements in prediction accuracy for all tested observer groups.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.07327v4cs.CV공통 태그 Saliency Prediction공식 코드 · Papers with Code

CASE: 클래스 민감한 설명을 위한 대조적 활성화

CASE: Contrastive Activation for Class-Sensitive Explanations

돌출도 기법(saliency method)은 모델의 예측과 관련이 있다고 여겨지는 입력 특징을 시각화하는 데 널리 사용됩니다. 그러나 이러한 시각적 그럴듯함은 중대한 한계점을 가릴 수 있습니다. 본 연구에서는 동일한 입력에 대해 서로 경쟁하는 클래스 레이블을 구별하는 기법의 능력인 클래스 민감도(class sensitivity)에 대한 진단 테스트를 제안합니다. 광범위한 실험을 통해, 널리 사용되는 많은 돌출도 기법이 클래스 레이블과 상관없이 거의 동일한 설명을 생성하여 그 신뢰성에 의문을 제기함을 보여줍니다. 우리는 이러한 클래스 둔감성(class-insensitive) 동작이 다양한 아키텍처와 데이터셋에 걸쳐 지속됨을 발견하였으며, 이는 이러한 실패 모드가 특정 모델에 국한된 것이 아니라 구조적임을 시사합니다. 이러한 발견에 착안하여, 우리는 예측된 클래스에 대해 고유하게 구별되는 특징을 분리하는 대조적 설명 기법인 CASE를 소개합니다. 제안된 진단과 섭동(perturbation) 기반 충실도(fidelity) 테스트를 사용하여 CASE를 평가하고, 기존 기법보다 충실하며 더 클래스 특정적인(class-specific) 설명을 생성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.