arXiv:2408.15119

A Permuted Autoregressive Approach to Word-Level Recognition for Urdu Digital Text

Ahmed Mustafa, Muhammad Tahir Rafique, Muhammad Ijlal Baig, Hasan Sajid, Muhammad Jawad Khan, Karam Dad Kallu

제출 2024-08-27

원문 초록

This research paper introduces a novel word-level Optical Character Recognition (OCR) model specifically designed for digital Urdu text, leveraging transformer-based architectures and attention mechanisms to address the distinct challenges of Urdu script recognition, including its diverse text styles, fonts, and variations. The model employs a permuted autoregressive sequence (PARSeq) architecture, which enhances its performance by enabling context-aware inference and iterative refinement through the training of multiple token permutations. This method allows the model to adeptly manage character reordering and overlapping characters, commonly encountered in Urdu script. Trained on a dataset comprising approximately 160,000 Urdu text images, the model demonstrates a high level of accuracy in capturing the intricacies of Urdu script, achieving a CER of 0.178. Despite ongoing challenges in handling certain text variations, the model exhibits superior accuracy and effectiveness in practical applications. Future work will focus on refining the model through advanced data augmentation techniques and the integration of context-aware language models to further enhance its performance and robustness in Urdu text recognition.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.