Towards Visual Syntactical Understanding
원문 초록
Syntax is usually studied in the realm of linguistics and refers to the arrangement of words in a sentence. Similarly, an image can be considered as a visual 'sentence', with the semantic parts of the image acting as 'words'. While visual syntactic understanding occurs naturally to humans, it is interesting to explore whether deep neural networks (DNNs) are equipped with such reasoning. To that end, we alter the syntax of natural images (e.g. swapping the eye and nose of a face), referred to as 'incorrect' images, to investigate the sensitivity of DNNs to such syntactic anomaly. Through our experiments, we discover an intriguing property of DNNs where we observe that state-of-the-art convolutional neural networks, as well as vision transformers, fail to discriminate between syntactically correct and incorrect images when trained on only correct ones. To counter this issue and enable visual syntactic understanding with DNNs, we propose a three-stage framework- (i) the 'words' (or the sub-features) in the image are detected, (ii) the detected words are sequentially masked and reconstructed using an autoencoder, (iii) the original and reconstructed parts are compared at each location to determine syntactic correctness. The reconstruction module is trained with BERT-like masked autoencoding for images, with the motivation to leverage language model inspired training to better capture the syntax. Note, our proposed approach is unsupervised in the sense that the incorrect images are only used during testing and the correct versus incorrect labels are never used for training. We perform experiments on CelebA, and AFHQ datasets and obtain classification accuracy of 92.10%, and 90.89%, respectively. Notably, the approach generalizes well to ImageNet samples which share common classes with CelebA and AFHQ without explicitly training on them.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
읽기 난이도 예측 변수로서의 에너지 기반 트랜스포머
Energy-Based Transformers as Predictors of Reading Difficulty
트랜스포머 언어 모델은 인간의 문장 처리를 모델링하는 데 정착된 도구가 되었으며, 놀람(surprisal)과 어텐션 엔트로피(attention entropy)와 같은 측정치는 읽기 난이도의 효과적인 예측 변수로 작용하여 함께 처리 부하의 상보적 측면을 포착한다. 본 연구에서는 관련된 한 클래스의 트랜스포머 모델, 즉 에너지 기반 트랜스포머(energy-based transformers)를 탐험한다. 이들은 연상 기억(associative memory) 모델과 원칙적인 형식적 연결을 제공하며, 처리(processing) 연구를 Hopfield 네트워크와 dense associative memory에 관한 더 넓은 문헌과 직접 접촉시킨다. 우리가 아는 한, 이는 계산 심리언어학(computational psycholinguistics)에서 에너지 기반 트랜스포머 측정치를 탐험한 최초의 시도이다. 읽기 시간(reading-time) 코퍼스(Natural Stories, UCL eye-tracking, UCL self-paced reading) 전반에 걸쳐, 에너지 측정치는 읽기 시간의 견고한 예측 변수이며, 세 코퍼스 모두에서 놀람(surprisal)을 넘어서는 유의미한 적합도를 제공한다. 관계절 처리에 대한 통제 실험에서, 단일 층에서의 에너지는 잘 알려진 목적어/주어 비대칭성(object/subject asymmetry)을 포착한다. 우리는 이것이 어텐션 엔트로피와 놀람(surprisal) 모두에 기인하는 효과를 포괄한다는 증거를 발견하며, 이는 이전에 여러 상보적 측정치가 필요했던 경우에 에너지가 단일 통합 예측 변수로 작용할 수 있음을 시사한다.
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
A Bit of Progress in Language Modeling
Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks
Making Language Model a Hierarchical Classifier and Generator
InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.