Producing Corpora of Medieval and Premodern Occitan
원문 초록
At a time when the quantity of - more or less freely - available data is increasing significantly, thanks to digital corpora, editions or libraries, the development of data mining tools or deep learning methods allows researchers to build a corpus of study tailored for their research, to enrich their data and to exploit them.Open optical character recognition (OCR) tools can be adapted to old prints, incunabula or even manuscripts, with usable results, allowing the rapid creation of textual corpora. The alternation of training and correction phases makes it possible to improve the quality of the results by rapidly accumulating raw text data. These can then be structured, for example in XML/TEI, and enriched.The enrichment of the texts with graphic or linguistic annotations can also be automated. These processes, known to linguists and functional for modern languages, present difficulties for languages such as Medieval Occitan, due in part to the absence of big enough lemmatized corpora. Suggestions for the creation of tools adapted to the considerable spelling variation of ancient languages will be presented, as well as experiments for the lemmatization of Medieval and Premodern Occitan.These techniques open the way for many exploitations. The much desired increase in the amount of available quality texts and data makes it possible to improve digital philology methods, if everyone takes the trouble to make their data freely available online and reusable.By exposing different technical solutions and some micro-analyses as examples, this paper aims to show part of what digital philology can offer to researchers in the Occitan domain, while recalling the ethical issues on which such practices are based.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
겉표지로 책을 판단하다: 다중 페이지 필기체 문서 전사를 위한 멀티모달 LLM 탐구
Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription
필기 텍스트 인식(HTR)은 여전히 까다로운 과제입니다. 기존 접근 방식은 실제 문제에서 확보하기 어려운 레이블이 지정된 데이터에 대한 미세조정(fine-tuning)을 필요로 하거나, OCR 엔진 및 멀티모달 LLM(MLLM)과 같은 제로샷(zero-shot) 도구에 의존합니다. MLLM은 엔드투엔드(end-to-end) 전사기와 OCR 사후 처리기 모두로서 유망한 가능성을 보여주었으나, 지금까지 HTR을 위한 다양한 MLLM 프롬프트(prompt) 전략, 특히 다중 페이지 문서에 대한 경험적 연구 평가는 거의 이루어지지 않았습니다. 대부분의 필기 문서는 다중 페이지로 구성되어 있으며 페이지 전반에 걸쳐 의미적 내용과 필체 스타일 같은 문맥을 공유하지만, MLLM은 일반적으로 페이지 단위 전사에 사용되어 이러한 공유 문맥을 버리게 됩니다. 또한 여러 양식을 활용하기보다는 텍스트 전용 사후 처리기 또는 이미지 전용 OCR 대안 중 하나로만 주로 사용됩니다. 본 논문에서는 제로샷 다중 페이지 필기체 문서 전사 과제를 위해 OCR, LLM 사후 처리, MLLM 엔드투엔드 전사를 결합한 일련의 방법을 조사합니다. 새로운 데이터셋(dataset)인 Malvern-Hills를 포함하여 기존 단일 페이지 데이터셋으로부터 이 과제를 위한 벤치마크(benchmark)를 소개합니다. 마지막으로, 프롬프트 복잡성을 최소화하면서 페이지 간 콘텐츠를 공유함으로써 기존 방식보다 뛰어난 성능을 보이는 다중 페이지 전사용 프롬프트 전략인 OCR+PAGE-1 및 OCR+PAGE-N을 소개합니다.
MegaHan97K: A Large-Scale Dataset for Mega-Category Chinese Character Recognition with over 97K Categories
Uni-MuMER: Unified Multi-Task Fine-Tuning of Vision-Language Model for Handwritten Mathematical Expression Recognition
Reasoning-OCR: Can Large Multimodal Models Solve Complex Logical Reasoning Problems from OCR Cues?
LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images?
Low-Resource Language Processing: An OCR-Driven Summarization and Translation Pipeline
토론
이 논문과 연결된 포럼 글이 아직 없습니다.