PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26638v1cs.CL

확산 모델이 초안을 작성하고 자기회귀 모델이 검증한다: 자기-투기적 디코딩을 통한 문서 OCR 가속

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

자기회귀(AR) OCR 비전-언어 모델은 문서 이미지를 텍스트와 구조화된 마크업으로 정확하게 변환하지만, 출력 토큰당 하나의 순차적 디코딩 단계를 필요로 하여 추론(inference) 속도가 제한됩니다. 자유형 텍스트 생성과 달리 OCR 출력은 입력 이미지에 강력하게 그라운딩(grounding)되어 있어, 확산(diffusion) 기반 병렬 생성이 유망합니다. 그러나 하나의 확산 단계에서 여러 토큰이 예측될 때, 각 토큰은 다른 토큰들을 알기 전에 예측됩니다. 따라서 이를 직접 확정(commit)하면 오류가 발생할 수 있습니다. 이에 따라 우리는 병렬 초안 작성(drafting)과 인과적 AR 검증을 위해 공동 학습(joint training)된 매개변수 공유 AR-블록-확산 모델인 GravityOCR을 제안합니다. 확정 전에 초안을 검증함으로써 모델은 별도의 초안 작성 네트워크 없이도 라운드당 여러 출력 토큰을 확정할 수 있습니다. 또한 인과적 AR 경로는 시퀀스 및 구조 수준의 OCR 보상을 사용하는 GRPO를 가능하게 하여, 확산 궤적의 가능도(likelihood) 추정을 피하면서 공유된 초안 작성기 매개변수를 업데이트합니다. OmniDocBench v1.6에서 AR 경로 GRPO는 확산 초안 작성 효율성을 저하시키지 않으면서 종합(Overall) 점수를 94.92에서 95.16으로 향상시키며, 최종 모델은 원래 GLM-OCR 점수인 95.48에 근접하게 유지됩니다. SGLang 서빙 배포 환경에서 GravityOCR은 순전파(forward pass)당 평균 9.7개의 출력 토큰을 확정하며, 영역 크롭(region crop)에서 디코드 전용 속도 $3.94\times$ 향상 및 AR 디코딩 대비 $1.32\times$ 엔드투엔드 페이지 처리 가속을 달성합니다.

arXiv:2607.22200v1cs.CV

LayoutLite: 효율적인 문서 OCR을 위한 토큰 수준 암묵적 레이아웃 분석

LayoutLite: Token-Level Implicit Layout Analysis for Efficient Document OCR

비전-언어 모델 기반 end-to-end OCR 시스템은 복잡한 문서 OCR에서 강력한 성능을 달성했지만, 문서 이미지에서 생성되는 대량의 시각적 토큰으로 인해 효율성이 제한된다. 이러한 토큰 중 많은 수가 빈 여백이나 시각적으로 중복된 영역에 해당하지만, 범용 시각적 토큰 압축 방법을 직접 적용하면 OCR에 중요한 세밀한 디테일이 제거될 수 있다. 본 논문에서는 효율적인 문서 OCR을 위한 경량 플러그앤플레이 모듈인 LayoutLite를 제안한다. 명시적 문서 레이아웃 검출에 의존하는 대신, LayoutLite는 비전 인코더와 언어 디코더 사이에서 토큰 수준의 암묵적 레이아웃 분석을 수행한다. 비전 인코더의 다층 시각적 표현을 집계하고, 경량 점수화 네트워크로 각 시각적 토큰의 중요도 점수를 예측한다. 정보가 적은 토큰은 언어 디코더에 입력되기 전에 제거되며, 유지된 토큰의 원래 공간 위치 정보는 보존된다. 인간 주석 없이 LayoutLite를 학습하기 위해, 토큰 선택을 강화학습 문제로 공식화하고, OCR 출력 일관성에 기반한 그룹 상대 정책 최적화 목표와 함께 학습을 안정화하기 위한 보조 레이아웃 지도 신호를 사용하여 이를 최적화한다. OmniDocBench에서의 실험은 LayoutLite가 인식 품질의 무시할 수 있는 수준의 저하로 시각적 토큰 길이와 추론 비용을 크게 줄일 수 있음을 보여준다. FireRed-OCR과 Logics-Parsing-V2라는 두 OCR 특화 VLM에서 LayoutLite를 추가로 평가했다. 최대 50% 토큰 압축 하에서 LayoutLite는 두 모델 모두에서 거의 동일한 점수를 유지하면서 prefill 지연, FLOPs, KV 캐시 메모리를 40% 이상 줄였으며, 추론 오버헤드는 소폭만 추가되었다. 이러한 결과는 토큰 수준 암묵적 레이아웃 분석이 VLM 기반 OCR 시스템을 가속하는 데 효과적이고 실용적인 접근법임을 보여준다.

arXiv:2606.29378v1cs.CL

교차 시대적 신할라어 OCR: 페이지 수준 적응 및 통시적 분석

Cross-Temporal Sinhala OCR: Page-Level Adaptation and Diachronic Analysis

신할라어는 스리랑카에서 약 1,600만 명이 사용하는 형태론적으로 풍부한 아부기다 문자 체계이며, 현재까지 페이지 수준 신할라어 OCR을 위한 실세계 데이터셋이 공개적으로 제공된 바 없다. 신할라어 OCR 모델을 평가한 기존 연구들은 모두 인공적으로 생성된 데이터를 사용하였다. 이 격차를 해소하기 위해, 우리는 1981–1989년 및 2000–2019년 사이에 발행된 스리랑카 입법 법령에서 수집한 1,010개의 페이지 수준 이미지와 그 전사본으로 구성된 주석 데이터셋 sinhala-ocr-lk-acts-1010을 소개한다. 이 데이터셋은 학습 예시 707개, 검증 예시 101개, 테스트 예시 202개로 분할된다. 심층 학습 기반 시각 언어 처리 모델인 DeepSeek-OCR V1, DeepSeek-OCR V2, LightOnOCR-2-1B 세 가지 모델을 소비자용 및 클라우드 GPU에서 수행한 8개의 실험을 통해 QLoRA로 파인튜닝하였다. LightOnOCR-2-1B가 가장 우수한 성능을 보여, 전체 테스트 예시에서 CER 1.05%를 달성하였으며, Surya-OCR(8.84%) 및 Tesseract v5(10.69%) 등 최신 오픈소스 OCR 모델과 Google Document AI(2.06%) 등 상용 OCR 모델을 능가하였다. 실험 결과는 LightOnOCR-2-1B가 실세계 OCR 과제에서 다른 베이스라인을 상회하며, 문서가 심하게 손상된 경우에도 모든 인쇄 시기에 걸쳐 일관된 성능을 유지함을 시사한다.