PyTorchKR Papers

최신 논문

총 30편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03836v2cs.CV

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

Despite remarkable progress in machine translation, Vision Language Models (VLMs) struggle on historical manuscripts, a domain that stresses core Natural Language Processing (NLP) capabilities: low-resource transliteration, archaic vocabulary, and noisy input signals. We present a systematic framework for evaluating the full image-to-translation pipeline on medieval Latin manuscripts, a setting in which scribal shorthand, ligatures, and parchment degradation expose failure modes that are invisible in clean-text benchmarks. Benchmarking on the CATMuS Latin dataset reveals a specialization gap: domain-specific Optical Character Recognition (OCR) models reduce character error rate by up to 4.3$\times$ compared to general-purpose VLMs, despite operating at orders of magnitude fewer parameters. We introduce the Interpres-Parallel-Corpus (IPC), a novel dataset comprising 1,383 aligned manuscript image lines, transcriptions, and expert translations, to our knowledge the first of its kind for medieval Latin. Our experiments uncover a complexity paradox: the simplest pipeline, a specialized OCR model feeding directly into a VLM, outperforms all multi-component variants. Adding retrieval-augmented generation (RAG) or post-OCR correction introduces prompt saturation and error propagation that degrade aggregate translation quality. These findings offer both a new benchmark and practical guidance for deploying translation systems in low-resource historical settings.

arXiv:2610.02880v1cs.CV

발견했으나 읽지 못함: 추출된 텍스트가 문서 비전-언어 모델의 검색-읽기 격차를 해소하는 경우

Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models

검색-증강 문서 질의응답은 적절한 페이지를 찾기만 하면 비전-언어 모델(VLM)이 이를 읽을 수 있다고 가정합니다. 본 논문에서는 이러한 가정이 종종 빗나가 검색-읽기 격차(retrieval-reading gap), 즉 증거를 찾았음에도 사용하지 못하는 현상이 발생함을 보여줍니다. 쌍체 프로토콜(paired protocol)을 통해 검색된 페이지 이미지만 사용한 답변과 동일한 이미지에 추출된 텍스트를 함께 제공한 답변을 비교함으로써 이러한 격차를 분리하여 측정합니다. 추적 가능한 증거를 포함하는 자체 벤치마크인 FoveDoc-Bench에서 검색 단계는 거의 모든 증거 페이지를 찾아내지만, CPU 기반 OCR 텍스트를 추가하면 엄격한 정확도(strict accuracy)가 13~16포인트 향상됩니다. 정확한 텍스트 층(text layer)을 제공할 경우 이러한 이득은 대략 두 배로 증가하며, 이는 세 가지 계열의 6개 VLM 전반에서 나타나고 단일 계열 내에서는 모델 규모가 커질수록 격차가 좁혀지기는 하지만 완전히 사라지지는 않습니다. 판독기(reader)는 이 증거를 읽을 수는 있지만 찾아내지는 못합니다. 증거 영역을 잘라내어(crop) 제공하면 텍스트 추가로 인한 이득의 대부분을 회복하지만, 페이지 상에 해당 영역을 상자(box)로 표시하는 방식은 전혀 효과가 없습니다. 또한 동일한 프로토콜을 통해 두 가지 한계를 확인했습니다. 추출된 텍스트는 텍스트 형태의 증거에는 도움이 되지만 차트와 그림에서는 중립적이거나 오히려 해롭습니다. 이러한 이점은 검색 성능이 저하될수록 줄어들며, 동일한 형태의 무관한 텍스트는 감지할 수 있는 수준의 이득을 전혀 제공하지 못합니다. 즉, 추출된 텍스트는 제대로 작동하는 검색을 증폭시키는 장치일 뿐, 실패한 검색을 대체할 수 있는 수단은 아닙니다. 본 연구의 코드는 https://github.com/atoz03/fovedoc-sup 에서 확인할 수 있습니다.

arXiv:2609.24058v1cs.CV

문자 체계 인지 전문가 혼합 기반의 올인원 다국어 장면 텍스트 인식

All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts

다국어 장면 텍스트 인식(STR)은 대부분의 언어에 대한 학습(training) 데이터의 부족과 단일 모델 내에서 다양한 문자 체계(script)를 지원해야 하는 어려움으로 인해 여전히 까다로운 과제로 남아 있습니다. 기존 솔루션은 언어별 인식기를 개별 배포하여 비용을 증가시키고 오류 누적을 초래하거나, 비용이 많이 들고 여전히 많은 문자 체계에서 부정확한 대규모 비전-언어 모델(VLM)에 의존합니다. 본 연구에서는 언어별 전문가보다 단순하고, VLM보다 가벼우며, 두 방식 모두보다 정확한 올인원(all-in-one) 다국어 인식기를 추구합니다. 첫째, 10개 문자 체계와 229개 언어를 아우르는 대규모 합성 장면 텍스트 데이터셋인 TextMuSS-10M을 구축합니다. 이는 실제 데이터를 사용할 수 없는 환경에서 균형 잡히고 충분한 지도 신호를 제공합니다. 둘째, 문자 체계 인지 전문가 혼합(MoE) 아키텍처인 ScriptMoE를 제안합니다. 이는 단일 시각 인코더를 공유하며, 밀집 디코더를 희소 MoE 블록으로 대체합니다. 이 블록은 각 이미지를 상위 2개 문자 체계 맞춤 전문가로 라우팅하는 이미지 수준 라우터와 문자 체계 간 지식을 흡수하는 공유 전문가로 구성됩니다. 자체 구축한 TextMuSS-Bench(10개 문자 체계, 10,899개 이미지)에 대한 광범위한 실험 결과, ScriptMoE는 82.06%의 최고 정확도를 달성하여 가장 강력한 STR 기준선을 1.31% 능가함을 보여줍니다. CC-OCR 엔드투엔드 다국어 태스크에서는 PP-OCRv5의 인식기만 ScriptMoE로 교체했을 때 F1 점수가 65.71%에서 80.89%로 향상되어, 극히 일부분에 불과한 매개변수 수로도 최고 성능의 VLM(80.73%)을 소폭 앞섰습니다.

arXiv:2607.24077v1cs.CV

낮은 CER만으로는 부족할 때: 역사적 우루과이 문서에서 비전-언어 OCR 시스템의 환각 분석

When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents

광학 문자 인식(OCR)은 역사적 기록물 디지털화의 핵심 구성 요소이다. 최근 비전-언어 모델(VLM)이 전통적인 OCR 시스템의 강력한 대안으로 등장하여 표준 벤치마크에서 최첨단 성능을 달성하고 있다. 그러나 기록물 전사에 대한 이들의 적합성은 여전히 충분히 이해되지 않았다. 본 연구에서는 마이크로필름 스캔에서 유래한 우루과이 독재 시대 문서의 도전적인 수집본인 Berrutti 데이터셋에 대해 전통적인 OCR 시스템과 VLM 기반 접근법을 벤치마크한다. VLM이 문자 오류율(CER)과 단어 오류율(WER) 측면에서 전통적인 방법을 일관되게 능가하지만, 이러한 개선은 더 복잡한 그림을 가리고 있음을 보인다. 상세한 정성적 분석을 통해, 표준 지표로는 드러나지 않는 체계적 실패 모드를 밝혀낸다. 여기에는 정서법적 정규화, 허위 콘텐츠 생성, 유창성은 유지하면서 의미를 바꾸는 의미적 대체가 포함된다. 명명된 개체(named entity)에 영향을 미치는 오류는 특히 치명적이며, CER과 WER에 미치는 영향은 최소화하면서도 상당한 의미적 왜곡을 초래할 수 있다. 이러한 발견은 정량적 OCR 성능과 실제 기록물 보관 환경에서의 전사 충실도 사이의 중요한 격차를 드러내며, 문자 수준 정확도를 넘어 생성된 전사의 의미적 신뢰성을 포착할 수 있는 평가 프레임워크의 필요성을 강조한다.

arXiv:2607.23194v1cs.CV

길이 초과 장면 텍스트 인식: 2축 진단과 무학습 해결책

Out-of-Length Scene Text Recognition: A Two-Axis Diagnosis and a Training-Free Fix

장면 텍스트 인식(STR) 모델은 거의 전적으로 최대 25자의 단어 crop으로 학습되지만, 실제 배포(간판, 제품 라벨, 밀집 캡션)에서는 훨씬 더 긴 텍스트를 읽어야 한다. 본 논문은 그 실패를 진단한 뒤 이를 해소한다. 진단은 길이 초과 실패를 동시에 외삽하는 두 축(인코더의 너비 축과 디코더의 시간 축)으로 분리하고, 디코더 길이가 아닌 인코더 너비가 지배적인 실패 양상임을 보여준다. 표현 측면의 수정은 부분적인 완화만 가져온다. 학습 없는 rotary rescaling은 문자 오류율(CER)을 최대 2–4 포인트만 회복하고, 가중 미세조정 레시피는 표준 벤치마크 정확도를 개선하면서 6–8 포인트를 회복하지만, Long Text Benchmark(LTB)에서의 단어 정확도는 거의 0에 머문다. 이는 잔여 격차가 표현이 아니라 디코딩 메커니즘에 있기 때문이다. 그런 다음 수정되지 않은 단어 수준 체크포인트에서 추론 시점에 그 격차를 해소한다. 긴 이미지를 모델의 학습 너비에 맞춰 겹치는 crop으로 슬라이스하고, 각각을 독립적으로 분포 내(in-distribution)에서 디코딩한 뒤, 기하학 기반 앵커 편집 거리 정렬로 읽기 결과를 이어붙인다. 이 절차는 두 기본 체크포인트에 걸쳐 LTB에서 버킷 평균 단어 정확도 42.79–43.05%에 도달하며, 발표된 최신 기술(41.57%)과 맞먹고 가장 어려운 버킷에서는 11–12 포인트 앞선다. 일반 디코딩과 벽시계(wall-clock) 시간이 동등한 수준이며, 공개 PARSeq 체크포인트에 변경 없이 적용하면 47.11%에 도달한다. 청킹(chunking)을 적용하면 미세조정은 더 이상 도움이 되지 않는다. 디코딩 측면의 수정만으로도 목적에 맞게 설계된 아키텍처와 동등한 성능을 낸다. 진단 하네스와 구현을 공개한다.

arXiv:2607.22708v1cs.CV

StepX-Edge: 아키텍처-학습-배포 공동 설계를 통한 온디바이스 UI 비전-언어 모델

StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design

엔드 디바이스에서 완전한 UI 이해를 갖춘 비전-언어 모델을 배포하는 일은 오랫동안 정확도와 효율성 사이에 갇혀 있었다. 한쪽에는 OCR, 화면 이해, 시각적 질의응답(visual question answering), 요소 그라운딩(element grounding)에 대한 정확도 기준이 있고, 다른 한쪽에는 모바일 칩의 엄격한 연산, 메모리, 전력 예산이 있다. 기존 연구는 둘 중 하나를 희생하거나, 실제 디바이스 검증 없이 시뮬레이션에서 멈춘다. 우리는 아키텍처, 학습, 배포의 3층 공동 설계를 통해 이러한 긴장을 해소하는 0.9B 매개변수 온디바이스 UI 비전-언어 모델 StepX-Edge를 제안한다. 아키텍처 측면에서, UI 인식 계층형 시각 인코딩(UI-aware Layered Visual Encoding, ULVE)과 점진적 차원 투영(Progressive Dimensionality Projection, PDP) 커넥터는 화면의 극단적 종횡비와 세밀한 지각을 목표로 하며, 전 구간에 걸친 표준 full 어텐션은 주류 모바일 NPU 연산자와의 네이티브 호환성을 보장한다. 학습 측면에서, 5단계 StepX-Curriculum 프레임워크는 UI 하위 과제 간 상호 촉진 효과에 대한 우리의 관찰을 바탕으로 설계되어, 네 가지 역량이 서로 간섭하기보다는 제한된 매개변수 예산 하에서 시너지적으로 함께 성장하도록 한다. 배포 측면에서, 모듈별 차등화된 2단계 PTQ-to-QAT 양자화 방식은 양자화 후 정확도 손실을 1% 이내로 유지한다. StepX-Edge는 <=1B 모델 중 전반적인 UI 이해에서 가장 강력한 성능을 달성하며, ScreenQA(88.76 F1)와 Chinese OCRBench v2(57.25)에서 모든 2B-2.3B 베이스라인을 능가하고, RefCOCO(92.0%)와 OCRBench v1(831)에서는 훨씬 적은 매개변수로 1.3B-2.3B 범용 VLM과 동등한 성능을 보인다. W4A16+KV8 양자화 후, 모델은 Snapdragon 8 Gen5 디바이스에서 ~0.84초 TTFT, 98 tok/s 디코드, 1.4GB 피크 메모리로 안정적으로 실행된다. 학습 데이터, 전체 학습 레시피, 양자화 배포 파이프라인을 오픈소스로 공개할 예정이다.

arXiv:2607.22456v1cs.CL

grapheme-kit: 다국어 NLP를 위한 그래프임 수준 지표 및 텍스트 처리

grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP

기존 어휘 거리, 유사도 및 평가 지표는 Unicode 코드 포인트 단위로 동작하며, 하나의 그래프임(grapheme)이 여러 Unicode 코드 포인트로 표현되는 문자 체계에서는 오류를 잘못 반영할 수 있다. 우리는 grapheme-kit을 소개한다. 이는 이러한 지표를 그래프임 클러스터(grapheme cluster) 단위로 동작하도록 확장하는 오픈소스 Python 라이브러리이다. 이 라이브러리는 또한 타밀어와 신할라어에 대한 개선된 그래프임 처리를 제공하며, 정확한 그래프임 클러스터 식별과 그래프임 합성/분해 유틸리티를 포함한다. OCR 사례 연구를 통해, 그래프임 수준 지표가 복잡한 문자 체계에 대해 더 충실한 평가를 제공함을 보여준다.

arXiv:2607.20385v1cs.CV

Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋

Persian Pixel: A large-scale synthetic OCR dataset for Persian language

페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.

arXiv:2607.14041v1cs.CV

다중 도메인 저자원 OCR를 위한 다중 전문가 라우팅: 만주어 사례 연구

Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study

역사적 만주어 OCR은 라벨 데이터가 제한적임에도 불구하고, 정체, 행서, 궁중 상소문에 사용된 반필 관자체 등 시각적으로 뚜렷이 다른 여러 필기체를 수용해야 한다. 우리는 반복적 미세조정 과정에서 얻은 체크포인트를 도메인 전문가로 재사용하고, 경량 페이지 수준 이미지 분류기를 통해 시각적 스타일별로 페이지를 라우팅하는 다중 전문가 시스템을 연구한다. 체크포인트 풀에 적합한 전문가가 없을 경우 해당 도메인을 위해 추가 전문가를 학습한다. 세 개의 고정(frozen) 테스트 세트에서, 라우팅 시스템은 각 스타일에 대해 선택된 전문가와 소수점 둘째 자리까지 일치한다: 정체에서 CER 0.30%, 상소문에서 1.57%, 행서에서 4.83%. 라우터는 99.3%의 페이지 수준 도메인 정확도를 달성하며, 동일한 소수 자릿수에서 도메인 라벨 oracle과 일치한다. 세 전문가 중 두 명은 최종 도메인을 위해 특별히 학습되지 않았으며, 행서 전문가만이 해당 도메인을 목표로 학습되었다. 비교를 재현 가능하게 하기 위해 평가 프로토콜, 라우터 설계, 페이지별 예측을 보고한다.

arXiv:2607.13639v1cs.CV

OvisOCR2 기술 보고서

OvisOCR2 Technical Report

OvisOCR2는 0.8B 규모의 문서 파싱 모델을 소개한다. OvisOCR2는 엔드투엔드(end-to-end) 파서로 설계되었으며, 문서 페이지 이미지가 주어지면 텍스트, 수식, 표, 시각 영역을 포함해 자연스러운 읽기 순서의 Markdown 표현을 생성한다. 필터링된 실제 문서 어노테이션과, 렌더링된 이미지와 Markdown 타깃이 동일한 HTML 소스에서 파생된 합성 페이지를 결합하는 데이터 엔진을 구축했다. 학습 방침에는 지도 미세조정, 다중 구성 요소 보상 설계를 적용한 4B 분기에서의 강화학습, 0.8B 모델로의 온-정책 증류(distillation), 모델 융합이 포함된다. OmniDocBench v1.6에서 OvisOCR2는 96.58의 최신 최고(state-of-the-art) 종합 점수를 달성하여, 이전에는 파이프라인(pipeline) 방식이 주도하던 리더보드 최상위에 엔드투엔드 모델을 올렸고, 엔드투엔드 문서 파싱의 잠재력을 부각한다. PureDocBench에서도 OvisOCR2는 75.06의 최고 Avg3 점수를 기록한다. 이 두 공개 벤치마크를 넘어, 더 넓은 범위의 롱테일(long-tail) 및 도전적인 시나리오를 포괄하도록 설계된 사내 벤치마크에서 OvisOCR2를 평가했으며, 비교 대상 방법들 중 최고의 종합 성능을 달성해 일반화와 견고성에 대한 추가적 증거를 제공한다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2 에서 이용할 수 있다.

arXiv:2607.07836v3cs.AI

Infinity-Parser2 기술 보고서

Infinity-Parser2 Technical Report

우리는 end-to-end 문서 파싱을 위해 조절 가능한 데이터 합성 파이프라인과 다중 작업 강화학습을 결합한 대규모 멀티모달 모델 Infinity-Parser2를 제시하며, 충실히 주석이 달린 파싱 코퍼스의 지속적인 부족 문제를 해결한다. 우리의 기여는 세 가지이다. 첫째, 조절 가능한 렌더링 프레임워크와 반복적 정제 루프를 결합한 확장 가능한 합성 엔진을 구축하고, 이를 활용해 다양한 문서 유형을 아우르는 500만 샘플 규모의 이중언어(중국어/영어) 코퍼스 Infinity-Doc2-5M을 구성해 오픈소스로 공개한다. 이 코퍼스는 요소 바운딩 박스, 정규 콘텐츠 형식(Markdown, HTML, LaTeX, SMILES, 구조화된 차트), 전체 페이지 읽기 순서로 주석이 달려 있다. 둘째, 검증 가능한 다중 작업 보상 시스템을 도입하여 8개의 공동 학습 목표(문서 파싱, 레이아웃 분석, 테이블 파싱, 수식 파싱, 차트 파싱, 화학식 파싱, 문서 VQA, 일반 멀티모달 이해)에 걸친 Joint Reinforcement Learning을 가능하게 하고, 단일 최적화 신호에서 인지, 구조, 추론을 통합한다. 셋째, 공유 아키텍처 하에 두 가지 변형을 공개한다: Infinity-Parser-7B 대비 3.68배 처리량 향상과 저지연 추론을 위해 최적화된 Infinity-Parser2-Flash, 그리고 정밀도가 중요한 설정을 위해 설계된 Infinity-Parser2-Pro. Infinity-Parser2-Pro는 olmOCR-Bench에서 최첨단 87.6%, ParseBench에서 74.3%를 달성하여 DeepSeek-OCR-2, PaddleOCR-VL-1.5, MinerU2.5를 능가하며, 차트, 화학식, 문서 VQA에 대해 강한 일반화 성능을 보인다.

arXiv:2607.11562v1cs.CV

MonkeyOCRv2: 문서 AI를 위한 시각-텍스트 파운데이션 모델

MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

주류 시각 인코더는 자연 이미지로 사전학습되어 있어, 밀집된 텍스트와 세밀한 문자 획이 문자 수준의 시각적 인식을 요구하는 문서 이미지에는 문서 특화 적응 없이는 효과적으로 적용할 수 없다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전학습 모델인 MonkeyOCRv2를 제안한다. 먼저, 17개 언어에 걸쳐 1억 1,300만 장의 이미지로 구성된, 현재까지 알려진 가장 대규모의 문서 이미지 사전학습 코퍼스인 MonkeyDoc v2를 구축한다. 다음으로, 이미지-텍스트 생성과 픽셀 수준 문서 재구성을 공동으로 학습하는 사전학습 전략을 제안한다. 전자는 시각적 표현과 텍스트 내용을 정렬하고, 후자는 문자 획과 레이아웃 세부 정보를 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 위변조 탐지, 겹침 텍스트 분할 등 5가지 대표적인 문서 분석 태스크에 대해 광범위한 실험을 수행하였으며, 기존 인코더를 MonkeyOCRv2로 교체하면 5가지 태스크 전반에서 일관되게 성능이 향상됨을 확인하였다. 마지막으로, 문서 파싱 및 문서 이해라는 더 난이도 높은 태스크에서 멀티모달 대규모 언어 모델(LLM)의 비전 인코더로서의 효용성을 검증한다. 동결된 상태로 경량 언어 모델과 결합하면, 디지털 문서와 촬영 문서를 17개 언어에 걸쳐 평가하는 최근 벤치마크인 MDPBench에서 새로운 오픈소스 최고 성능(state-of-the-art)을 달성하는 0.7B 문서 파싱 모델이 생성된다. 이 모델은 비전 인코더 크기가 약 11배 작음에도 불구하고 기존 최고 성능인 3B dots.mocr을 절대 성능 기준 2.8% 상회한다. 동결된 인코더는 동일한 학습 설정 하에 8개 벤치마크에서 CLIP, DINO, SAM 기반의 모델들을 능가하는 문서 이해 모델도 구동한다. 이러한 결과는 문서 특화 시각 사전학습이 문서 인텔리전스의 독립적인 기반으로 기능할 수 있음을 시사한다.

arXiv:2603.11044v2cs.CV

LingDT-VL-OCR: 세밀한 시각적 참조를 활용한 구조 인식 문서 수준 파싱

LingDT-VL-OCR: Structure-Aware Document-Level Parsing with Fine-Grained Visual Reference

금융 도메인 문서에 특화된 파싱 시스템 LingDT-VL-OCR을 제안하며, 페이지 간 콘텐츠 연속성 복원(Cross-page Contents Consolidation), 문서 수준 제목 계층 재구성(DHR), 난이도 적응형 커리큘럼 학습 기반 표 파싱, 그리고 외부 검출기 없이 표 셀의 위치를 추정하는 CellBBoxRegressor를 결합해 초장문 금융 PDF를 구조화된 출력으로 변환한다. 또한 금융 문서 특화 평가를 위한 벤치마크 FinDocBench를 도입하고 OmniDocBench 전체 지표에서 높은 성능을 달성했다.

arXiv:2607.03650v1cs.CV

ClinOCR-Bench: 광학 문자 인식 모델 평가를 위한 종합적인 임상 스캔 문서 데이터셋

ClinOCR-Bench: A Comprehensive Clinical Scanned Document Dataset for Optical Character Recognition Model Evaluation

외부 검사실 보고서 및 수기 작성 양식과 같은 스캔된 의료 문서에서 텍스트 정보를 추출하는 것은 현대 전자 건강 기록(EHR) 시스템에서 주요 과제로 남아 있습니다. 최근 비전-언어 모델(VLM)의 발전은 기존 OCR 도구 대비 큰 가능성을 보여주고 있습니다. 그러나 현재까지 대부분의 임상 OCR 연구는 기관 내 비공개 데이터를 기반으로 수행되었습니다. 저자들의 지식 범위 내에서, 임상 도메인에서 OCR 모델을 평가할 수 있는 공개 데이터셋은 거의 존재하지 않습니다. 더불어 OCR 성능을 저하시키는 일반적인 스캔 아티팩트가 기존 데이터셋에 반영되어 있지 않아, 체계적인 평가가 불가능한 상황입니다. 이에 본 연구에서는 공개적으로 이용 가능한 현실적인 OCR 벤치마크 데이터셋인 ClinOCR-Bench를 공개합니다. 이 데이터셋은 Normal(정상), Handwriting(수기), Poor Quality(저품질), Rotation(회전), Tables(표), Mix-artifacts(복합 아티팩트)의 6개 서브셋에 걸쳐 384장의 스캔 이미지로 구성됩니다. ClinOCR-Bench의 주요 특징은 다음과 같습니다: 1) 다양한 문서 유형 및 레이아웃, 2) 일반적인 EHR 스캔 아티팩트의 완전한 포괄, 3) 개인 건강 정보 미포함, 4) 템플릿 기반 학습/테스트 분할, 5) OCR 벤치마킹에 적합한 충분한 샘플 크기. 기준선 OCR 성능은 최신 오픈 가중치 및 상용 VLM을 사용하여 평가되었습니다. 데이터셋과 문서는 GitHub(https://github.com/ClinOCR-Bench/ClinOCR-Bench)에서 확인할 수 있습니다.

arXiv:2607.00596v1cs.CV

대규모 언어 모델을 활용한 역사적 아르메니아어 신문의 의미론적 읽기 순서 복원

Semantic-Guided Reading Order Reconstruction in Historical Armenian Newspapers with LLMs

이 논문은 복잡한 레이아웃과 제한된 언어 자원이 결합된 역사적 아르메니아어 신문에서의 읽기 순서 복원 문제를 다룬다. 우리는 66페이지로 구성된 새로운 주석 데이터셋을 도입하고, 기하학적 휴리스틱, YOLO 기반 레이아웃 파싱, 엔드투엔드 문서 모델 ECLAIR, 그리고 의미론적 영역 감지와 생성형 대규모 언어 모델(LLM)을 결합한 하이브리드 방법을 비교한다. 우리의 하이브리드 방법은 평가된 모든 접근법 중 가장 낮은 오류율을 달성하며, 가장 강력한 기하학적 기준선 대비 순서 오류를 최대 76%까지 줄이고, 다중 페이지 환경과 노이즈가 있는 OCR 하에서도 견고성을 유지한다. 이 방법은 프로덕션 환경을 목표로 하는 것이 아니라, 자원이 극히 부족한 시나리오에서 신속한 주석 작업을 가능하게 하는 데이터 부트스트래핑 전략으로 설계되었다. 데이터셋과 함께, 역사적 아르메니아어 인쇄물을 위한 특화된 Tesseract OCR 모델도 공개한다.

arXiv:2606.28406v1cs.LG

AI는 과학을 그릴 수 있는가? 텍스트-이미지 및 멀티모달 모델의 과학적 그림 생성 평가를 위한 벤치마크

Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models

텍스트-이미지 및 멀티모달 생성 모델은 메커니즘 다이어그램, 실험 설계 개략도, 개념적 프레임워크, 그래픽 초록과 같은 과학적 그림을 생성하는 데 점점 더 많이 활용되고 있다. 그러나 기존의 이미지 생성 벤치마크(예: GenEval, T2I-CompBench, DPG-Bench)는 자연 이미지를 평가하며 구성성(compositionality), 객체 수 세기, 또는 사진 사실성(photorealism)을 측정한다. 이러한 벤치마크 중 어느 것도 생성된 과학적 그림이 실용적이기 위해 필요한 요소, 즉 정확하고 가독성 있는 텍스트 레이블, 개체 및 그 관계의 충실한 묘사, 일관된 다이어그램 구조, 그리고 해당 분야의 드로잉 관행 준수를 측정하지 않는다. 우리는 SciDraw-Bench를 소개한다. 이는 8가지 그림 유형과 10개 학문 분야에 걸쳐 32개의 구조화된 과학적 그림 생성 태스크로 구성된 벤치마크로, 각 태스크는 자연어 프롬프트와 필수 레이블, 관계, 구성 요소, 관행, 부정적 제약 조건에 대한 기계 검증 가능한 명세를 쌍으로 구성한다. 우리는 텍스트 충실도(OCR 기반 레이블 재현율 및 문자 오류율), 의미적 정확성(명세에 대한 비전-언어 모델 판정), 구조적 품질, 관행 준수의 4차원 평가 프로토콜을 제안하며, 메타 평가 프로토콜 및 예비 심사자 간 신뢰도 분석(인간 평가 검증은 진행 중)도 함께 제시한다. 우리는 도메인 특화 시스템인 SciDraw AI를 대표적인 범용 텍스트-이미지 모델과 비교 평가하며, 계획된 확장으로서 코드-투-피겨 기준선을 개략적으로 설명한다. 8가지 그림 유형 전반에 걸친 파일럿 연구에서, 도메인 특화 시스템은 모든 차원과 그림 유형에서 범용 기준선을 크게 능가하며, 의미적 정확성과 관행 준수에서 가장 큰 격차를 보였다. 텍스트 충실도는 모든 시스템에서 가장 어려운 차원으로 남아 있다.

arXiv:2606.29378v1cs.CL

교차 시대적 신할라어 OCR: 페이지 수준 적응 및 통시적 분석

Cross-Temporal Sinhala OCR: Page-Level Adaptation and Diachronic Analysis

신할라어는 스리랑카에서 약 1,600만 명이 사용하는 형태론적으로 풍부한 아부기다 문자 체계이며, 현재까지 페이지 수준 신할라어 OCR을 위한 실세계 데이터셋이 공개적으로 제공된 바 없다. 신할라어 OCR 모델을 평가한 기존 연구들은 모두 인공적으로 생성된 데이터를 사용하였다. 이 격차를 해소하기 위해, 우리는 1981–1989년 및 2000–2019년 사이에 발행된 스리랑카 입법 법령에서 수집한 1,010개의 페이지 수준 이미지와 그 전사본으로 구성된 주석 데이터셋 sinhala-ocr-lk-acts-1010을 소개한다. 이 데이터셋은 학습 예시 707개, 검증 예시 101개, 테스트 예시 202개로 분할된다. 심층 학습 기반 시각 언어 처리 모델인 DeepSeek-OCR V1, DeepSeek-OCR V2, LightOnOCR-2-1B 세 가지 모델을 소비자용 및 클라우드 GPU에서 수행한 8개의 실험을 통해 QLoRA로 파인튜닝하였다. LightOnOCR-2-1B가 가장 우수한 성능을 보여, 전체 테스트 예시에서 CER 1.05%를 달성하였으며, Surya-OCR(8.84%) 및 Tesseract v5(10.69%) 등 최신 오픈소스 OCR 모델과 Google Document AI(2.06%) 등 상용 OCR 모델을 능가하였다. 실험 결과는 LightOnOCR-2-1B가 실세계 OCR 과제에서 다른 베이스라인을 상회하며, 문서가 심하게 손상된 경우에도 모든 인쇄 시기에 걸쳐 일관된 성능을 유지함을 시사한다.

arXiv:2606.29213v1cs.CL

OCR-VLM은 데바나가리를 읽을 수 있는가? 스트레스 테스트 벤치마크와 사후 교정 연구

Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study

고전적 엔진부터 특화된 OCR 비전-언어 모델(OCR-VLMs) 및 최전선 멀티모달 대규모 언어 모델(LLM)에 이르는 OCR 시스템들은 영어·중국어 문서 벤치마크에서 강력한 성능을 보고하지만, 인도계 문자에 대한 동작은 대체로 규명되지 않은 상태다. 우리는 데바나가리(힌디어)를 대상으로 열 가지 시스템을 벤치마크한다: 고전 EasyOCR; 오픈 VLM (Qwen2.5-VL-3B, Qwen3-VL-8B, olmOCR-7B); 특화 OCR-VLM (DeepSeek-OCR, Unlimited-OCR); 프론티어 클로즈드 모델 (Gemini 2.5 Flash, Claude Opus 4.7, GPT-5.5, Mistral OCR). 평가는 네 가지 합성 열화 조건과 실제 인쇄 스캔 300건에 걸쳐 진행된다. 네 가지 결과를 보고한다. 첫째, 깨끗하게 렌더링된 텍스트에서는 열 시스템 모두 chrF++ 91~98 범위에 밀집하여 합성 텍스트로는 시스템 간 변별이 되지 않는다. 둘째, 열화 조건에서 특화 OCR-VLM이 가장 취약하며, DeepSeek-OCR는 드물지만 파국적인 반복 실패(출력이 참조 길이의 최대 71배)를 일으켜 중앙값은 전체 최고임에도 코퍼스 평균을 망가뜨리는데, 이것이 우리가 평균 대신 중앙값과 파국률을 보고하는 이유다. 셋째, 실제 스캔에서는 열 시스템 중 아홉이 붕괴하고(EasyOCR의 chrF++가 93.6에서 58.3으로 하락) 성능 범위가 76점에 걸쳐 분산되어, 합성 렌더링이 데바나가리 품질을 심각하게 과대평가함을 보인다. 넷째, 높은 영어 OCR 성능이 인도계 OCR을 예측하지 못한다: GPT-5.5는 chrF++ 58.5로 떨어져 고전 EasyOCR과 동률을 이루고, olmOCR-Bench의 기반 모델인 olmOCR-7B는 40.5로 하락하는 반면, 오픈 모델 Qwen3-VL-8B(75.2, 단일 24GB GPU 실행 가능)는 GPT-5.5를 능가하고 Mistral에 근접하며, Gemini와 Claude가 각각 86.3과 82.2로 선두를 차지한다. 오류 분류 체계는 표면적 오류(숫자, 구두점)와 구조적 오류(결합자, 마트라, 누크타)를 구분하며, 바이트 수준(ByT5) 사후 교정기는 저비용 엔진의 고유 오류 분포에서 성능을 개선하지만(chrF++ +1.2~+1.5) 엔진 간 전이는 이루어지지 않는다. 우리는 벤치마크, 코드, 모델을 공개한다.

arXiv:2606.28796v1cs.CL

다단계 LLM 파이프라인을 통한 구조 보존 문서 번역: 마라티어 사례 연구

Structure-Preserving Document Translation via Multi-Stage LLM Pipeline: A Case Study in Marathi

인도의 정부 문서는 마라티어와 같은 지역 언어로 주로 발행되어, 비원어민 독자, 주(州) 간 행정 기관, 정책 분석가에게 상당한 접근성 장벽을 초래한다. 최근 신경망 기계 번역(machine translation)의 발전으로 문장 수준의 번역 품질이 향상되었지만, 기존 시스템은 대부분 문서 구조, 서식 무결성, 도메인 특화 용어를 무시함으로써 공식 문서에 대한 적용 가능성을 제한하고 있다. 본 논문은 레이아웃 충실도를 유지하면서 엔드-투-엔드 문서 변환을 수행할 수 있는, 구조 보존 방식의 마라티어-영어 정부 문서 번역 프레임워크를 제시한다. 제안된 시스템은 레이아웃 인식 광학 문자 인식(OCR), 좌표 기반 텍스트 추출, 대규모 언어 모델(LLM) 기반 번역, 그리고 HTML 표현을 통한 구조화된 문서 재구성을 통합한다. 공간적 정렬 제약을 적용하고 계층적 문서 요소를 보존함으로써, 본 프레임워크는 원본 문서와 번역 문서 간의 구조적 일관성을 보장한다. 실제 마라티어 정부 PDF에 대한 실험적 평가를 통해, 기존의 텍스트 전용 번역 파이프라인에 비해 구조 보존성, 번역 일관성, 용어 일관성이 향상되었음을 확인하였다. 제안된 프레임워크는 전자 정부(e-governance) 및 행정 문서 처리를 위한 확장 가능한 다국어 접근성 솔루션에 기여한다.

arXiv:2606.24484v1cs.CV

WordArt 지향 장면 텍스트 인식의 발전: 데이터셋과 방법론

Advancing WordArt-Oriented Scene Text Recognition: Datasets and Methods

WordArt(예술적 텍스트)는 고도로 맞춤화된 폰트, 텍스처, 레이아웃을 특징으로 하며, WordArt 지향 장면 텍스트 인식(WATER)을 일반 장면 텍스트 인식(STR)보다 훨씬 더 어렵게 만든다. 기존 STR 데이터셋과 방법들은 일반적으로 정형 장면 텍스트와 고정 템플릿 입력을 중심으로 구축되어 있어 WATER로 확장하기 어렵다. 이에 우리는 데이터와 모델 두 관점에서 이 작업을 발전시키고자 한다. 데이터 측면에서, 기존 예술적 텍스트 데이터에 비해 규모가 수백 배 향상된 200만 개 합성 데이터셋 WATER-S를 구축한다. WATER-S는 두 가지 상호 보완적인 서브셋으로 구성된다. 하나는 업그레이드된 렌더링 파이프라인(SynthWordArt)으로 렌더링되어 고정밀도의 제어 가능한 합성 WordArt 데이터를 제공한다. 다른 하나는 프롬프트 마이닝을 위한 Qwen3-VL과 이미지 합성을 위한 Z-Image를 결합하여 생성되며, 현실적이고 다양한 데이터의 커버리지를 향상시킨다. 모델 측면에서, 우리는 WATERec을 제안한다. 이는 임의 형태의 입력을 지원하는 시각 인코더와 복잡한 레이아웃을 모델링하는 자기회귀 디코더를 채택하여, WordArt에 대한 고정 템플릿 STR의 병목을 구조적으로 해소한다. 실험 결과, 이 아키텍처는 기존 STR 방법들을 능가하며 WordArt와 같은 비정형 텍스트에서 최첨단 성능을 달성한다. 기존 실제 STR 데이터에서 신중하게 재구성된 WATER-R과 함께, 새로운 합성 데이터와 모델 설계를 갖춘 우리의 강력한 기준선은 WordArt-Bench에서 90.40%의 정확도를 달성하며, 범용 및 OCR 특화 비전-언어(vision-language) 모델 모두를 큰 마진으로 능가한다. 코드와 데이터는 https://github.com/YesianRohn/WATER에서 이용 가능하다.