arXiv:2410.13305

Reference-Based Post-OCR Processing with LLM for Diacritic Languages

Thao Do

제출 2024-10-17

원문 초록

Extracting fine-grained OCR text from aged documents in diacritic languages remains challenging due to unexpected artifacts, time-induced degradation, and lack of datasets. While standalone spell correction approaches have been proposed, they show limited performance for historical documents due to numerous possible OCR error combinations and differences between modern and classical corpus distributions. We propose a method utilizing available content-focused ebooks as a reference base to correct imperfect OCR-generated text, supported by large language models. This technique generates high-precision pseudo-page-to-page labels for diacritic languages, where small strokes pose significant challenges in historical conditions. The pipeline eliminates various types of noise from aged documents and addresses issues such as missing characters, words, and disordered sequences. Our post-processing method, which generated a large OCR dataset of classical Vietnamese books, achieved a mean grading score of 8.72 on a 10-point scale. This outperformed the state-of-the-art transformer-based Vietnamese spell correction model, which scored 7.03 when evaluated on a sampled subset of the dataset. We also trained a baseline OCR model to assess and compare it with well-known engines. Experimental results demonstrate the strength of our baseline model compared to widely used open-source solutions. The resulting dataset will be released publicly to support future studies.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.13013v2cs.CL공통 태그 Optical Character Recognition (OCR)공식 코드 · Papers with Code

LEGAL-UQA: 영어-우르두어 병렬 벤치마크로 우르두어 화자를 위한 헌법 질의응답 시스템 시험하기

LEGAL-UQA: Testing Constitutional Question-Answering Systems for Urdu Speakers with a Parallel English-Urdu Benchmark

법률 정보 어시스턴트는 우르두어 화자가 자신의 헌법적 권리를 이해하도록 도울 수 있으나, 신뢰할 수 있는 시스템을 구축하려면 해당 언어에 적합한 시험 데이터와 평가 방법이 필요하다. 우리는 파키스탄 헌법의 구절과 연결된 619개의 질문-답변 쌍으로 구성된 영어-우르두어 병렬 벤치마크인 LEGAL-UQA를 제시한다. 각 예시는 질문, 참조 답변, 출처 구절을 두 언어로 모두 포함한다. 우리는 두 가지 구성요소를 별도로 평가한다. 하나는 출처 구절이 주어졌을 때 우르두어 질문에 답하는 것이고, 다른 하나는 각 질문이 생성된 출처 구절을 검색하는 것이다. 또한 자동 판정자로 사용되는 의사결정 모델인 JEV를 사람의 채점과 비교한다. 연구 결과, 모델 순위는 답변 유사도를 측정하는 방식에 따라 달라지며, 단순한 단어 매칭 방법이 시험한 임베딩 방법보다 출처 구절을 더 효과적으로 검색한다. 평가된 임계값에서 JEV는 모든 답변에 만점을 부여하는 기준선보다 사람의 채점과 덜 자주 일치한다. 또한 감사를 통해 생성된 참조 답변이 출처가 뒷받침하는 정보를 누락한 사례도 확인된다. 종합하면 이러한 결과는 우르두어 화자를 위한 법률 QA 소프트웨어를 설계할 때 검색과 답변을 별도로 시험하고, 단순한 검색 기준선을 포함하며, 자동 판정자와 참조 답변을 사람의 검토로 검증할 필요가 있음을 강조한다.

arXiv:2502.20295v3cs.LG공통 태그 Optical Character Recognition (OCR)공식 코드 · Papers with Code

겉표지로 책을 판단하다: 다중 페이지 필기체 문서 전사를 위한 멀티모달 LLM 탐구

Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

필기 텍스트 인식(HTR)은 여전히 까다로운 과제입니다. 기존 접근 방식은 실제 문제에서 확보하기 어려운 레이블이 지정된 데이터에 대한 미세조정(fine-tuning)을 필요로 하거나, OCR 엔진 및 멀티모달 LLM(MLLM)과 같은 제로샷(zero-shot) 도구에 의존합니다. MLLM은 엔드투엔드(end-to-end) 전사기와 OCR 사후 처리기 모두로서 유망한 가능성을 보여주었으나, 지금까지 HTR을 위한 다양한 MLLM 프롬프트(prompt) 전략, 특히 다중 페이지 문서에 대한 경험적 연구 평가는 거의 이루어지지 않았습니다. 대부분의 필기 문서는 다중 페이지로 구성되어 있으며 페이지 전반에 걸쳐 의미적 내용과 필체 스타일 같은 문맥을 공유하지만, MLLM은 일반적으로 페이지 단위 전사에 사용되어 이러한 공유 문맥을 버리게 됩니다. 또한 여러 양식을 활용하기보다는 텍스트 전용 사후 처리기 또는 이미지 전용 OCR 대안 중 하나로만 주로 사용됩니다. 본 논문에서는 제로샷 다중 페이지 필기체 문서 전사 과제를 위해 OCR, LLM 사후 처리, MLLM 엔드투엔드 전사를 결합한 일련의 방법을 조사합니다. 새로운 데이터셋(dataset)인 Malvern-Hills를 포함하여 기존 단일 페이지 데이터셋으로부터 이 과제를 위한 벤치마크(benchmark)를 소개합니다. 마지막으로, 프롬프트 복잡성을 최소화하면서 페이지 간 콘텐츠를 공유함으로써 기존 방식보다 뛰어난 성능을 보이는 다중 페이지 전사용 프롬프트 전략인 OCR+PAGE-1 및 OCR+PAGE-N을 소개합니다.

arXiv:2506.08300cs.CL공통 태그 Optical Character Recognition (OCR)공식 코드 · Papers with Code

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

대형 언어 모델(LLM)은 의미 있는 상관관계와 예측을 생성하기 위해 세상에 대한 학습을 데이터로 수행합니다. 따라서 이러한 모델을 학습시키거나 추론 시 지원하는 데 사용되는 데이터셋의 성격, 규모, 품질 및 다양성은 모델의 품질에 직접적인 영향을 미칩니다. 다양한 품질의 LLM이 빠르게 개발되고 채택됨에 따라, 공개적으로 이용 가능한 고품질 학습 데이터의 희소성이 부각되었으며, 명확한 출처 체인을 갖춘 지속 가능한 데이터셋 관리의 필요성이 시급히 대두되었습니다. 이에 본 기술 보고서에서는 2006년부터 하버드 도서관이 구글 북스 프로젝트에 참여하여 디지털화한 공공 도메인 도서의 대규모 컬렉션인 Institutional Books 1.0을 소개합니다. 하버드 도서관과 협력하여, 우리는 이 도서들을 추출, 분석 및 처리하여 역사적 텍스트에 대한 광범위하게 문서화된 데이터셋으로 구성하였습니다. 이 분석은 해당 프로젝트의 일부로 스캔된 하버드 도서관 소장 도서 전체를 포함하며, 총 250개 이상의 언어로 작성된 1,075,899권, 약 2,500억 토큰에 달합니다. 초기 공개 버전으로서, 공공 도메인으로 확인된 983,004권, 즉 2420억 토큰에 해당하는 OCR 추출 텍스트(원본 및 후처리본)와 메타데이터(서지, 출처, 생성된 메타데이터)를 제공하고 있습니다. 본 보고서는 이 프로젝트의 목표와 방법, 그리고 수행한 분석 결과를 기술하며, 이 역사적 컬렉션을 인간과 기계 모두가 보다 쉽게 필터링하고 읽으며 활용할 수 있도록 하는 데 목적이 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.