목적: 인문학 분야의 디지털화 프로젝트는 방대하고 이질적인 역사 문서 아카이브를 생산하며, 이를 대규모로 수동 분류하는 것은 비현실적이다. 본 연구는 스캔된 페이지 이미지를 시각적 콘텐츠 유형(텍스트, 표, 그래픽)에 따라 자동으로 분류하는 시스템의 필요성을 다루며, 이를 통해 광학 문자 인식(OCR)이나 구조화 데이터 추출과 같은 콘텐츠 특화 하위 처리를 가능하게 한다. 방법: 100년 이상 된 체코 고고학 아카이브에서 수집한 48,000개 이상의 주석이 달린 역사적 페이지 이미지 데이터셋을 기반으로 이미지 분류 시스템을 개발하고 평가하였으며, 도메인 전문가 검토를 포함한 4단계의 연속적인 주석 작업을 통해 정제하였다. 수작업으로 설계된 이미지 특징을 활용한 랜덤 포레스트 분류기(Random Forest Classifier)를 기준선으로 설정하였다. 이후 심층 학습 아키텍처를 파인튜닝하여 비교하였다: 합성곱 신경망(Convolutional Neural Networks)(EfficientNetV2, RegNetY), 비전 및 문서 이미지 트랜스포머(ViT, DiT), 그리고 멀티모달 CLIP 모델. 도메인 전문가와 협력하여 11개 범주의 레이블 체계를 설계하고 5-폴드 교차 검증으로 평가하였다. 결과: 특징 기반 기준선은 약 75%의 정확도를 달성하였다. 파인튜닝된 합성곱 신경망과 트랜스포머는 이를 크게 능가하였으며, RegNetY-16GF는 보류 테스트 세트에서 99.16%, ViT-large는 99.12%의 Top-1 정확도를 달성하였다. CLIP ViT-B/16은 최적화된 텍스트 설명으로 99.14%에 도달하였다. 결론: 이미지 전용 모델, 특히 RegNetY-16GF는 거의 완벽한 분류 정확도를 제공하며, 649,508개의 레이블 없는 아카이브 페이지에서 90% 이상의 모델 간 일치율로 일관된 레이블을 생성한다. 파인튜닝된 CLIP은 테스트 세트 정확도에서는 경쟁력이 있었으나, 레이블 없는 데이터에서 이미지 전용 모델과의 일치율이 65% 미만으로, 실제 배포에는 적합하지 않다. 최종 모델, 주석이 달린 데이터셋, 소프트웨어는 오픈소스 라이선스 하에 공개되어 있다.
End-to-end OCR for historical newspapers remains challenging, as models must handle long text sequences, degraded print quality, and complex layouts. While Transformer-based recognizers dominate current research, their quadratic complexity limits efficient paragraph-level transcription and large-scale deployment. We investigate linear-time State-Space Models (SSMs), specifically Mamba, as a scalable alternative to Transformer-based sequence modeling for OCR. We present to our knowledge, the first OCR architecture based on SSMs, combining a CNN visual encoder with bi-directional and autoregressive Mamba sequence modeling, and conduct a large-scale benchmark comparing SSMs with Transformer- and BiLSTM-based recognizers. Multiple decoding strategies (CTC, autoregressive, and non-autoregressive) are evaluated under identical training conditions alongside strong neural baselines (VAN, DAN, DANIEL) and widely used off-the-shelf OCR engines (PERO-OCR, Tesseract OCR, TrOCR, Gemini). Experiments on historical newspapers from the Bibliotheque nationale du Luxembourg, with newly released >99% verified gold-standard annotations, and cross-dataset tests on Fraktur and Antiqua lines, show that all neural models achieve low error rates (~2% CER), making computational efficiency the main differentiator. Mamba-based models maintain competitive accuracy while halving inference time and exhibiting superior memory scaling (1.26x vs 2.30x growth at 1000 chars), reaching 6.07% CER at the severely degraded paragraph level compared to 5.24% for DAN, while remaining 2.05x faster. We release code, trained models, and standardized evaluation protocols to enable reproducible research and guide practitioners in large-scale cultural heritage OCR available at https://github.com/MarcoPerson/ssm-ocr-benchmark.
유럽 포르투갈어(pt-PT)는 고자원 언어에 치우친 OCR 벤치마크에서 대부분 부재합니다. pt-PT를 다루는 소수의 벤치마크는 역사적 유물과 문학에 초점을 맞추고 있습니다. 본 연구는 현대 OCR 애플리케이션을 다루며, 현대적이고 문화적으로 관련성 있는 pt-PT 시각적 텍스트 추출을 위한 첫 번째 벤치마크인 PorTEXTO를 소개합니다. 품질을 보장하기 위해, 우리는 최첨단 대규모 비전-언어 모델(LVLM)의 전사와 원어민의 철저한 검토를 결합한 주석 파이프라인을 사용했습니다. 우리는 대부분의 모델에서 합성 데이터에서 실제 샘플로 넘어갈 때 성능이 급격히 하락함을 관찰했으며, 현재 모델 크기나 해상도 예산보다 전문화된 다국어 데이터가 pt-PT 성능을 좌우하는 더 중요한 요인임을 발견했습니다. 이에 따라 공개 pt-PT OCR 리소스를 공개하게 되었습니다.
최근 연구에 따르면 필기체 텍스트 인식(HTR) 시스템은 라틴 문자 데이터보다 아랍 문자 데이터셋에서 더 낮은 성능을 보입니다. 그러나 통제된 비교의 부족으로 인해 이 격차의 원인은 아직 잘 이해되지 않고 있습니다. 본 연구에서는 9개의 데이터셋(KHATT(아랍어), Muharaf(아랍어), NUST-UHWR(우르두어), PHTD(페르시아어), IAM(영어), READ-2016(독일어) 등 포함)과 다양한 학습 크기(K in {100, 500, 1000, 2000, ..., Kfull})에 걸쳐 통합된 CRNN 모델을 사용하여 라인 수준(line-level) HTR을 수행하는 아랍 문자 및 라틴 문자 HTR에 대한 포괄적인 연구를 제시합니다. 우리의 결과는 성능 격차가 지속됨을 보여줍니다: 저자원(low-resource) 설정에서는 격차가 크고, 데이터가 증가함에 따라 감소하지만, 전체 규모에서도 5-7 CER 포인트의 일관된 차이가 남아 있습니다. 우리는 많은 데이터셋에 라벨링 오류가 포함되어 있어 주석(annotation) 품질이 중요함을 보여줍니다. 정제(cleaning) 작업은 오류율을 낮추고 격차를 줄이지만, 이를 완전히 제거하지는 못합니다. 또한, 우리는 고정된 수의 학습 샘플이 더 높은 시각적 변이성(visual variability)으로 인해 아랍어에서는 덜 효과적인 커버리지를 제공하며, 유사한 표현(representation)을 학습하기 위해 더 많은 데이터가 필요함을 발견했습니다. 우리는 텍스트 라인 수와 문자 수 측면에서 데이터셋 간의 인식을 비교하여, 동등성 상충 관계(equivalence trade-off)를 보여줍니다. 우리는 문자 체계(script) 간의 문자 빈도 분포를 비교하고, 아랍어가 라틴어보다 유의미하게 더 긴 꼬리 분포(heavy-tailed)를 가짐을 보여줍니다. 오류 분석 결과, 아랍어 데이터셋(예: KHATT)의 치환 오류(substitution errors) 약 30%는 시각적으로 유사한 문자 간의 혼동으로 인해 발생하는 반면, IAM과 같은 라틴 문자 데이터셋에서는 약 15%인 것으로 나타났습니다.
미국 지방 조례(local ordinances)는 기존 기계 판독 말뭉치에서 거의 빠져 있고 벤더 플랫폼에 파편화되어 있어, LOCUS(미국 지방 조례 말뭉치)로 9,239개 시·카운티 법규를 OCR로 수집·정리하고 인구 다수를 아우르는 2,309개 카운티 조화형 접근 층을 제공한다. ModernBERT 기반 분류기·점수 모델로 불투명성(opacity)과 가부장적 통제(paternalism) 등 차원에서 지방 법률을 대규모 분석할 수 있게 하며, LOCUS-v1을 연구자에게 공개한다.
고품질의 공개 웹 말뭉치가 점점 고갈됨에 따라, 깨끗한 긴 문맥(long-context) 문서는 대규모 언어 모델(LLM)의 학습 데이터로서 희소하고 비싼 자원이 되었습니다. 기존의 긴 문맥 말뭉치는 종종 독점적이고 획득 비용이 비싸거나, 합성으로 생성되었거나, 프로그래밍과 같은 좁은 도메인에 집중되어 있습니다. 우리는 재무 언어 모델링 및 평가를 위해 SEC 제출 문서를 레이아웃 충실의 MultiMarkdown으로 재구성한 오픈 소스인 Stanford EDGAR Filings Dataset (SEFD)를 소개합니다. SEFD는 감사된 재무제표, 위험 공시, 소유권 보고서, 회계 주석, 시장 변동성 유발 이벤트 제출 문서를 긴 문맥 사전학습 데이터로 사용 가능하게 만들며, 재무적 추론, 예측, 규정 준수(compliance), 문서 이해의 기초가 됩니다. 결과적으로 생성된 말뭉치는 토큰 효율적이고 모델 즉시 사용 가능(model-ready)하며, Common Crawl 기반 말뭉치와의 중복이 0.1% 미만입니다. 우리는 152B 토큰 규모의 초기 공개 스냅샷인 SEFD-v1을 공개하고, 550B 토큰으로 추정되는 더 큰 185만 건의 제출 문서 아카이브에 대한 말뭉치 수준의 분석을 제공합니다. 또한 SEFD에서 파생된 두 가지 벤치마크인 EDGAR-Forecast와 EDGAR-OCR을 소개합니다. EDGAR-Forecast는 모델 지식 컷오프(cutoff) 이후의 제출 문서 기반 수치 예측을 평가하고, EDGAR-OCR은 복잡한 재무 테이블의 전사를 평가합니다.
수학 콘텐츠 공유의 어려움을 해소하기 위해 이미지를 LaTeX로 변환하는 파이프라인을 포럼 인터페이스에 직접 통합한 통합 시스템을 소개한다. 이 플랫폼은 사용자 편의성을 높이고 AI 수학적 추론(AI reasoning) 모델을 위한 커뮤니티 기반 데이터셋(dataset)을 생성한다.
비전-언어 모델(VLMs)은 일반적인 비전-언어 태스크에서 인상적인 결과를 달성했지만, 전용 OCR 시나리오에 적용할 때 환각, 부정확한 지역화, 과도한 연산 비용 문제가 발생합니다. 본 논문은 아키텍처 혁신과 데이터 중심 최적화를 결합한 경량 OCR 시스템인 PP-OCRv6를 제시합니다. PP-OCRv6는 구조적 재매개변화(structural reparameterization)를 갖춘 통합 MetaFormer 스타일 빌딩 블록을 중심으로 백본, 검출 neck, 인식 neck을 재설계하여 공간 토큰 혼합과 채널 혼합을 분리하고, 태스크별 stride 구성으로 두 작업을 모두 지원합니다. 세 가지 모델 티어(medium, small, tiny)는 동일한 블록 기본 요소를 공유하며 서버부터 엣지까지의 배포 시나리오를 아우릅니다. 자체 벤치마크에서 PP-OCRv6_medium은 83.2%의 인식 정확도와 86.2%의 검출 Hmean을 달성하여 PP-OCRv5_server 대비 각각 +5.1%, +4.6% 높은 성능을 보였으며, 파라미터 수가 자릿수만큼 적음에도 Qwen3-VL-235B, GPT-5.5, Gemini-3.1-Pro를 능가했습니다. tiny 티어는 Intel Xeon CPU에서 PP-OCRv5_mobile 대비 3.9배 더 빠른 추론을 달성하면서도 대등한 정확도를 유지했습니다.
최근 유전체 파운데이션 모델은 대부분 DNA를 1차원 토큰 시퀀스로 취급하는 대규모 언어 모델(LLM) 아키텍처를 채택하고 있습니다. 그러나 전체적인 순차적 읽기는 희소하고 불연속적인 유전체 의미와 구조적으로 정렬되지 않아, 저정보 배경에서 계산 낭비를 초래하고 긴 컨텍스트에 대한 이해 기반 압축을 방해합니다. 본 연구에서는 유전체 모델링을 광학 문자 인식(OCR) 스타일의 문서 이해로 재정의하는 비전 기반 프레임워크인 OpticalDNA를 제시합니다. OpticalDNA는 DNA를 구조화된 시각적 레이아웃으로 렌더링하고, 시각적 DNA 인코더와 문서 디코더를 갖춘 OCR 가능한 비전-언어 모델을 학습시키며, 여기서 인코더는 고충실도 압축을 위해 압축 가능하고 재구성 가능한 시각적 토큰을 생성합니다. 이 표현을 기반으로 OpticalDNA는 핵심 유전체 기본 연산(읽기, 영역 그라운딩, 부분 시퀀스 검색, 마스크된 구간 완성)에 대한 프롬프트 조건부 목적함수를 정의하여, 감소된 유효 토큰 예산 하에서 세밀한 유전체 정보를 유지하는 레이아웃 인식 DNA 표현을 학습합니다. 다양한 유전체 벤치마크에서 OpticalDNA는 최신 베이스라인을 일관되게 능가했습니다. 45만 개 염기까지의 시퀀스에서 약 20배 더 적은 유효 토큰으로 최고의 전반적인 성능을 달성했으며, 단 25만 6천 개의 학습 가능한 파라미터만 튜닝하여 최대 985배 더 많은 활성화된 파라미터를 가진 모델을 능가했습니다.
문서 파싱 시스템은 모기지 심사, 재무 보고, 공급망 물류, 임상 기록과 같은 고위험·규제 업무 워크플로에 점점 더 많이 배포되고 있다. 그러나 대부분의 공개 벤치마크는 깨끗한 학술 레이아웃이나 합성 산문에서 파서를 평가하고, 단일 OCR 또는 markdown 수준 유사도 점수만 보고한다. 이러한 문서와 지표는 하류 에이전트가 실제로 필요로 하는 것, 즉 지저분한 실세계 페이지에서 특정 필드의 올바른 값과 잘 상관관계를 이루지 못한다. 우리는 실제 규제 문서로 구성된 이중 트랙 벤치마크인 RealDocBench를 소개한다. QA 트랙은 4개 도메인에 걸친 581개 문서에 대한 1,356개의 필드 수준 질문을 포함하며, 각 질문은 키-값 답변의 typed gold_dict와 짝을 이루고, 파서는 필드별 정확도와 엄격한 질문별 정확도 모두로 채점된다. 레이아웃 트랙은 9개 클래스 공개 분류체계 하에서 COCO 스타일 바운딩 박스로 주석된 1,500개의 사람 검증 페이지 이미지를 포함하며, 인접성을 고려한 분할/병합 복구를 포함하는 Hungarian matcher로 채점된다. 우리는 상용 파싱 API, 범용 VLM, 오픈 소스 OCR 모델에 이르는 18개 시스템을 통일된 추출-채점 프로토콜 하에서 평가하고, 정확도와 함께 페이지당 비용 및 캐시 버스팅을 적용한 지연 시간을 보고한다. RealDocBench는 단일 수치 벤치마크가 숨기는 넓은 성능 편차, 지속적으로 어려운 의료 하위 도메인, 그리고 운영 지점 전반에 걸친 비용/지연 시간의 급격한 트레이드오프를 드러낸다. 우리는 문서 파싱 시스템의 재현 가능하고 필드 수준의 비교를 지원하기 위해 데이터셋, 파서 어댑터, 평가 하네스를 공개한다.