arXiv:2311.00522

Text Rendering Strategies for Pixel Language Models

Jonas F. Lotz, Elizabeth Salesky, Phillip Rust, Desmond Elliott

제출 2023-11-01

원문 초록

Pixel-based language models process text rendered as images, which allows them to handle any script, making them a promising approach to open vocabulary language modelling. However, recent approaches use text renderers that produce a large set of almost-equivalent input patches, which may prove sub-optimal for downstream tasks, due to redundancy in the input representations. In this paper, we investigate four approaches to rendering text in the PIXEL model (Rust et al., 2023), and find that simple character bigram rendering brings improved performance on sentence-level tasks without compromising performance on token-level or multilingual tasks. This new rendering strategy also makes it possible to train a more compact model with only 22M parameters that performs on par with the original 86M parameter model. Our analyses show that character bigram rendering leads to a consistently better model but with an anisotropic patch embedding space, driven by a patch frequency bias, highlighting the connections between image patch- and tokenization-based language models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.23382v1cs.CL공통 태그 Language Modelling, Sentence

읽기 난이도 예측 변수로서의 에너지 기반 트랜스포머

Energy-Based Transformers as Predictors of Reading Difficulty

트랜스포머 언어 모델은 인간의 문장 처리를 모델링하는 데 정착된 도구가 되었으며, 놀람(surprisal)과 어텐션 엔트로피(attention entropy)와 같은 측정치는 읽기 난이도의 효과적인 예측 변수로 작용하여 함께 처리 부하의 상보적 측면을 포착한다. 본 연구에서는 관련된 한 클래스의 트랜스포머 모델, 즉 에너지 기반 트랜스포머(energy-based transformers)를 탐험한다. 이들은 연상 기억(associative memory) 모델과 원칙적인 형식적 연결을 제공하며, 처리(processing) 연구를 Hopfield 네트워크와 dense associative memory에 관한 더 넓은 문헌과 직접 접촉시킨다. 우리가 아는 한, 이는 계산 심리언어학(computational psycholinguistics)에서 에너지 기반 트랜스포머 측정치를 탐험한 최초의 시도이다. 읽기 시간(reading-time) 코퍼스(Natural Stories, UCL eye-tracking, UCL self-paced reading) 전반에 걸쳐, 에너지 측정치는 읽기 시간의 견고한 예측 변수이며, 세 코퍼스 모두에서 놀람(surprisal)을 넘어서는 유의미한 적합도를 제공한다. 관계절 처리에 대한 통제 실험에서, 단일 층에서의 에너지는 잘 알려진 목적어/주어 비대칭성(object/subject asymmetry)을 포착한다. 우리는 이것이 어텐션 엔트로피와 놀람(surprisal) 모두에 기인하는 효과를 포괄한다는 증거를 발견하며, 이는 이전에 여러 상보적 측정치가 필요했던 경우에 에너지가 단일 통합 예측 변수로 작용할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.