PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07019v3cs.CV

LensVLM: 텍스트의 압축된 시각 표현을 위한 선택적 컨텍스트 확장

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

비전-언어 모델(VLM)은 텍스트를 긴 토큰 시퀀스로 토큰화할 필요 없이, 렌더링된 이미지로 처리할 수 있는 흥미로운 가능성을 제공한다. VLM 이미지 인코더는 고정 크기 이미지를 고정된 수의 시각 토큰으로 매핑하므로, 렌더링 해상도를 바꾸면 세밀한 압축 조절 수단이 된다. 그러나 압축이 커질수록 정확도는 빠르게 저하된다. 문자가 비전 인코더의 유효 해상도 아래로 줄어들어 구분이 불가능해지기 때문이다. 이를 해결하기 위해 우리는 LensVLM을 제안한다. 이는 VLM이 압축된 이미지를 스캔한 뒤, 학습된 도구를 통해 관련된 이미지만 선택적으로 비압축 형태로 확장할 수 있게 하는 추론 프레임워크이자 사후 학습 레시피이다. Qwen3.5-9B-Base를 기반으로 한 LensVLM은 4.3$\times$ 유효 압축에서 전체 텍스트 상한에 필적하는 정확도를 유지하며, 일곱 개의 텍스트 QA 벤치마크에서 최대 10.1$\times$ 유효 압축까지 검색 기반·텍스트 및 시각 압축 베이스라인을 능가한다. LensVLM은 또한 멀티모달 문서 및 코드 이해 작업으로 일반화되며, 압축이 증가할수록 베이스라인 대비 정확도 이득이 커진다. 우리의 분석은 이 접근을 뒷받침한다. 학습은 시각 압축을 렌더링 선택에 강건하게 만들고, 압축이 커질수록 모델은 신뢰할 수 없는 시각적 읽기보다 확장된 내용에 점점 더 의존한다. 분석은 또한 실용적인 도구 선택 지침을 제공한다. 렌더링된 텍스트에는 텍스트 확장이 바람직하고, 레이아웃 단서가 과제 관련 정보를 담는 네이티브 문서에는 고해상도 이미지 확장이 적합하다.

arXiv:2603.12718v3cs.CV

COTe 점수: 문서 레이아웃 분석 모델 평가를 위한 분해 가능한 프레임워크

The COTe score: A decomposable framework for evaluating Document Layout Analysis models

문서 레이아웃 분석(Document Layout Analysis, DLA)은 종종 머신러닝 모델을 사용하여 페이지를 의미 있는 요소로 파싱하는 과정이다. 일반적으로 모델의 품질은 IoU, F1, mAP와 같은 일반적인 머신 비전 지표로 평가된다. 그러나 이러한 지표는 3차원 공간의 2차원 투영인 이미지를 위해 설계된 것으로, 인쇄 매체의 본질적으로 2차원인 영상에는 적합하지 않다. 이러한 불일치는 모델 성능에 대해 오해를 불러일으키거나 정보가 부족한 해석을 초래할 수 있다. 더 견고하고 비교 가능하며 세밀한 DLA를 장려하기 위해, 우리는 다음을 제안한다: 내용의 물리적 구조에서 의미적 구조로 초점을 옮기는 관계형 레이블링 접근법인 구조적 의미 단위(Structural Semantic Unit, SSU); 그리고 페이지 파싱 품질을 측정하는 분해 가능한 지표인 Coverage, Overlap, Trespass, Excess(COTe) 점수. 우리는 사례 연구와 3개의 DLA 데이터셋에서 5개의 일반적인 DLA 모델을 평가함으로써 이러한 방법의 가치를 보인다. COTe 점수가 기존 지표보다 더 많은 정보를 제공하며, 의미적 경계를 침범하거나 동일 영역을 반복적으로 파싱하는 등 모델별 뚜렷한 실패 모드를 드러냄을 보인다. 모델과 정답(ground truth) 간의 세분성(granularity) 차이가 있을 때, COTe 점수가 F1보다 훨씬 더 견고함을 확인한다. 최악의 경우에도, 그 외에는 완벽한 파싱을 가정하고 문자 수준 예측을 단락 수준 정답과 비교할 때, F1이 0을 반환하는 반면 COTe는 0.68을 반환한다. 특히, 실제 데이터셋에서는 명시적인 SSU 레이블링 없이도 COTe의 세분성 견고성이 대체로 유지되어 진입 장벽을 낮춘다는 점을 확인한다. 마지막으로, 우리는 SSU가 레이블링된 데이터셋과 DLA 프로젝트에서 COTe를 적용하기 위한 Python 라이브러리를 공개한다.

arXiv:2607.22723v1cs.CV

분류 기반 대규모 비전-언어 모델을 통한 문서의 시각적 정보 추출

Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models

시각적으로 풍부한 문서에서의 시각적 정보 추출(VIE)은 레이아웃 변동성이 크고 실제 환경의 손상 때문에 여전히 어려운 과제이다. 기존 방법들은 일반적으로 순차적 OCR 파이프라인이나 광범위한 라벨 데이터와 레이아웃별 학습이 필요한 end-to-end 모델에 의존하여 확장성을 제한한다. 우리는 최소한의 감독으로 높은 정확도를 달성하는 다중 유형 VIE를 위한 분류 기반 대규모 비전-언어 모델(LVLM) 프레임워크를 제안한다. 이 접근법은 문서 유형 분류와 내용 추출을 분리하고, 문맥 내 학습(ICL) 기반 동적 프롬프트 엔지니어링을 통해 과제별 지식을 주입하여 다양한 레이아웃에서 견고한 제로샷 추론을 가능하게 한다. 이론적 관점에서, 제안된 방법은 과제 불확실성을 줄이고 프롬프트 기반 추론 중 정보 효율을 향상시키는 조건부 연산의 한 형태로 볼 수 있다. 16가지 증명서 유형을 포함한 실제 입찰 데이터셋에서 평가한 결과, 우리의 제로샷 방법(Qwen2.5-VL-7B 기반)은 F1-score에서 18.35%p(86.43% vs. 68.08%)만큼, 정규화 편집 거리(normalized edit distance)에서는 0.23(0.90 vs. 0.67)만큼 강력한 감독 기준선을 능가한다. 선택적 도메인 특화 미세조정은 성능을 F1 93.65% 및 NED 0.93까지 추가로 향상시키며, 도장, 워터마크, 낮은 대비에 대한 우수한 견고성을 보여준다. 이 프레임워크는 사무 자동화에서 복잡한 문서 이해를 위한 효율적이고 확장 가능한 해결책을 제공한다. 코드는 https://github.com/FairmeHIT/Multi-VIE에서, 미세조정 모델은 https://huggingface.co/fairme/Qwen2.5-VL-7B-SFT에서 이용할 수 있다.

arXiv:2607.22679v1cs.AI

DOSA: 장문서 구조 분석을 위한 트리 기반 자기회귀 프레임워크

DOSA: A Tree-Guided, Self-Regressive Framework for Long Document Structure Analysis

시각적으로 풍부한 문서에서는 정보가 표, 헤더, 텍스트 블록과 같은 개별 페이지 객체에만 인코딩되는 것이 아니라, 그들 간의 구조적 관계에도 인코딩되어 있어, 문서 구조 분석은 정보 검색 및 문서 이해의 기초가 된다. 그러나 장거리 의존성과 이질적인 레이아웃을 갖는 다중 페이지 문서에서는 이러한 관계를 정확히 추론하는 것은 여전히 어렵다. 이를 해결하기 위해, 페이지 객체 간의 관계를 추론하고 문서 수준의 의미 트리를 재구성하기 위한 트리 기반 자기회귀 프레임워크인 DOcument Structure Analyzer(DOSA)를 제안한다. DOSA는 문서를 청크 단위로 처리하며, 각 페이지 객체에 대해 시각적, 텍스트, 레이아웃 특징을 융합하고 계층적 관계 및 순서 관계를 예측한다. 예측된 관계는 의미 트리를 점진적으로 구성하는 데 사용되며, 이는 이후 청크에 대한 추론을 안내하는 구조적 컨텍스트로 활용된다. 5개 벤치마크에 대한 실험 결과는 DOSA의 효과를 보여주며, 가장 도전적인 다중 페이지 계층 벤치마크인 DocHieNet에서 F1 4점, TEDS 19점까지 향상되었다.

arXiv:2607.20385v1cs.CV

Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋

Persian Pixel: A large-scale synthetic OCR dataset for Persian language

페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.

arXiv:2607.11192v3cs.CV

GDP.pdf: 전문 PDF 문서에 대한 그라운딩 멀티모달 추론 벤치마킹

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

전문 분야의 일상 업무 상당 부분은 PDF 파일 안에서 이루어진다: 복리후생 안내서, 임대 계약서, 데이터시트, 임상 가이드라인, 시공 계획서 등. 문서 AI를 위한 벤치마크들은 일반적으로 필요한 역량을 개별적으로 측정해 왔다: OCR, 레이아웃 분석, 차트 추론, 표 QA, 문서 VQA. 이 중 어느 하나에서 높은 점수를 받는다고 해서, 모델이 특정 PDF에 대해 해당 분야 종사자가 실제로 묻는 현실적인 질문에 답할 수 있는지를 반드시 알 수 있는 것은 아니다. GDP_pdf는 이를 직접 측정하기 위해 구축된 벤치마크이다. 이 벤치마크는 10개 분야의 현직 전문가가 작성한 질문-문서 쌍으로 구성되며, 후보 질문은 최소 두 개의 최신(frontier) 멀티모달 모델이 의미 있는 방식으로 실패한 경우에만 채택되었다: 잘못된 답변, 결정적 증거 누락, 또는 허위 주장을 내는 경우였으며, 스타일 같은 표면적인 차이는 해당하지 않았다. 각 항목에는 원자적 기준으로 구성된 루브릭이 함께 제공되므로, 등급화된 루브릭 점수와 엄격한 과제(task) 수준의 통과율을 모두 보고할 수 있다. 또한 각 항목은 3단계로 구성된 11개 역량 분류체계에 태깅되며, 텍스트 추출 및 그라운딩, 표와 차트 이해, 상호 참조, 공간 추론, 근거 없는 질의에 대한 거부(abstention) 등을 포괄한다. 100개 항목 벤치마크에서 17개의 최신 모델에 대한 결과를 보고한다: 최고 모델도 항목의 30.7%만 통과했고, 최하위 모델은 2%만 통과했다. 대부분의 오류는 소수의 반복되는 실패 패턴으로 거슬러 올라간다: 정렬이 어긋난 표, 잘못 읽은 차트, 각주와 제외 조항 누락, 평면도 기호 오계수, 스캔 노이즈, 이전 텍스트를 대체하는 개정(수정) 등.

arXiv:2607.11562v1cs.CV

MonkeyOCRv2: 문서 AI를 위한 시각-텍스트 파운데이션 모델

MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

주류 시각 인코더는 자연 이미지로 사전학습되어 있어, 밀집된 텍스트와 세밀한 문자 획이 문자 수준의 시각적 인식을 요구하는 문서 이미지에는 문서 특화 적응 없이는 효과적으로 적용할 수 없다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전학습 모델인 MonkeyOCRv2를 제안한다. 먼저, 17개 언어에 걸쳐 1억 1,300만 장의 이미지로 구성된, 현재까지 알려진 가장 대규모의 문서 이미지 사전학습 코퍼스인 MonkeyDoc v2를 구축한다. 다음으로, 이미지-텍스트 생성과 픽셀 수준 문서 재구성을 공동으로 학습하는 사전학습 전략을 제안한다. 전자는 시각적 표현과 텍스트 내용을 정렬하고, 후자는 문자 획과 레이아웃 세부 정보를 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 위변조 탐지, 겹침 텍스트 분할 등 5가지 대표적인 문서 분석 태스크에 대해 광범위한 실험을 수행하였으며, 기존 인코더를 MonkeyOCRv2로 교체하면 5가지 태스크 전반에서 일관되게 성능이 향상됨을 확인하였다. 마지막으로, 문서 파싱 및 문서 이해라는 더 난이도 높은 태스크에서 멀티모달 대규모 언어 모델(LLM)의 비전 인코더로서의 효용성을 검증한다. 동결된 상태로 경량 언어 모델과 결합하면, 디지털 문서와 촬영 문서를 17개 언어에 걸쳐 평가하는 최근 벤치마크인 MDPBench에서 새로운 오픈소스 최고 성능(state-of-the-art)을 달성하는 0.7B 문서 파싱 모델이 생성된다. 이 모델은 비전 인코더 크기가 약 11배 작음에도 불구하고 기존 최고 성능인 3B dots.mocr을 절대 성능 기준 2.8% 상회한다. 동결된 인코더는 동일한 학습 설정 하에 8개 벤치마크에서 CLIP, DINO, SAM 기반의 모델들을 능가하는 문서 이해 모델도 구동한다. 이러한 결과는 문서 특화 시각 사전학습이 문서 인텔리전스의 독립적인 기반으로 기능할 수 있음을 시사한다.

arXiv:2607.10400v1cs.CV

SynthDocBench: 장문 컨텍스트 시각 문서 이해를 위한 통제된 벤치마크

SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

비전-언어 모델(VLM)은 DocVQA, ChartQA, MMLongBench-Doc 등 시각 문서 이해 벤치마크에서 높은 성능을 달성했습니다. 그러나 실제 문서는 길이, 레이아웃 복잡도, 모달리티, 질문 난이도 등 여러 요인이 복합적으로 결합되어 있어 모델 실패를 특정 원인에 귀인하기 어렵습니다. 우리는 문서 길이, 레이아웃 구조, 모달리티 구성, 질문 유형을 포함한 요인들을 체계적으로 통제하는 장문 컨텍스트 시각 문서 이해를 위한 완전 합성 벤치마크인 SynthDocBench를 소개합니다. 이 벤치마크는 조합적 설계 방식으로 구성되어 각 요인이 생성된 문서에 걸쳐 독립적으로 변화하며, 모델 행동에 대한 통제된 분석을 가능하게 합니다. 문서는 6가지 레이아웃 원형(archetype)에 걸쳐 LLM 파이프라인을 사용해 엔드투엔드로 생성되며, 모델이 허위 상관관계를 이용하지 못하도록 40%의 무작위 재정의(override)가 적용됩니다. 또한 SynthDocBench는 기존 벤치마크보다 훨씬 더 긴 길이와 구조적 다양성을 지닌 장문 컨텍스트 문서를 포함합니다. 7개의 최전선 VLM을 평가한 결과, 기존 벤치마크에서는 드러낼 수 없는 세 가지 실패 모드를 발견했습니다: 문서 길이에 따른 급격한 성능 저하, 6개 모델 중 5개에서 문서 중간 3분의 1 구간이 가장 어려운 체계적인 위치 민감성(가장 큰 하락 폭: 8.3 퍼센트 포인트)과 5개 모델에서 나타나는 초반-후반 음의 추세, 그리고 장문 문서 환경에서의 차트 이해 능력 저하입니다. 이러한 결과는 현재 모델들이 강건한 장문 컨텍스트 시각 문서 이해를 달성하기보다 벤치마크의 인위적 특성에 과적합되어 있을 가능성을 시사합니다.

arXiv:2607.09657v1cs.CV

언어 지능을 위한 확장 가능한 비주얼 사전학습

Scalable Visual Pretraining for Language Intelligence

대규모 파운데이션 모델의 빠른 발전은 주로 대규모 텍스트 코퍼스에 대한 사전학습을 통해 이루어져 왔다. 그러나 많은 형태의 지식은 시각적 표현을 통해 전달되며, 그림, 조판된 수식, 페이지 레이아웃에는 텍스트만으로는 충실하거나 완전하게 포착할 수 없는 풍부한 정보가 담겨 있다. 그럼에도 불구하고 현재의 사전학습 방식은 문서나 웹 페이지와 같이 시각적으로 풍부한 소스를 평문 텍스트로 변환함으로써 이러한 시각적 단서를 버리고 언어 지능을 학습한다. 본 논문은 언어 모델이 반드시 텍스트 전용 표현으로 학습되어야 한다는 기본 가정에 이의를 제기하고, 비주얼 사전학습(Visual Pretraining)이 파운데이션 모델 지능을 위한 확장 가능한 학습 방식임을 보인다. 이를 위해 텍스트 추출 없이 시각적 문서를 직접 활용하는 비지도 비주얼 사전학습 패러다임에 대한 체계적인 연구를 수행한다. 여러 백본과 벤치마크에 걸쳐, 동일한 기반 코퍼스에 대한 비주얼 사전학습은 텍스트 전용 사전학습을 일관되게 능가하며, 확장 가능한 언어 지능으로 나아가는 효율적인 경로를 제공한다.

arXiv:2607.09068v1cs.CV

OmniMapBench: 다양한 지도 문서에 대한 시각 중심 추론 벤치마킹

OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents

대규모 시각-언어 모델(LVLM)의 최근 발전은 복잡하고 시각적으로 기반한 추론을 위한 견고한 벤치마크를 필요로 한다. 다수의 문서 이해 벤치마크에서 나타나는 중요한 한계가 확인되었는데, 시각적 콘텐츠가 흔히 텍스트로 환원 가능하여 진정한 시각적 그라운딩 없이도 높은 성능을 달성할 수 있다는 점이다. 이러한 한계를 해소하기 위해 지도 문서에 대한 시각 중심 추론을 촉진하는 OmniMapBench를 제안한다. 본 벤치마크는 9개 범주의 1,603개 지도 문서에 걸쳐 수동으로 주석이 부여된 2,096개의 질의응답 쌍으로 구성된다. 지각(perception)부터 다단계 시각적 추론에 이르는 계층적 능력을 탐색하도록 설계되었다. 벤치마크 특성을 정량화하기 위해 간단하면서도 효과적인 벤치마크 수준의 지표인 시각 의존 지수(Visual Dependency Index, VDI)를 제안하며, 이는 이미지를 질문 비의존적 설명으로 대체할 때 발생하는 정확도 하락으로 정의된다. OmniMapBench는 기존 벤치마크보다 높은 VDI를 나타내며, 이는 환원 불가능한 시각적 추론에 집중한다는 점을 정량적으로 검증한다. OmniMapBench에서 25개의 주요 LVLM에 대한 종합적인 평가를 수행한 결과, 최고 성능 모델이 75.03%의 정확도에 그치는 상당한 성능 격차가 관찰되었다. 이 결과는 OmniMapBench가 현재 LVLM에 제기하는 도전의 난이도를 강조한다. 본 연구는 LVLM의 문서 이해를 위한 시각 중심 추론의 발전을 촉진하고자 한다. 데이터셋과 코드는 https://github.com/SIGMME/OmniMapBench에서 공개적으로 이용 가능하다.

arXiv:2607.05614v1cs.CL

BaFCo: 복잡한 벵골어 서식 이해를 위한 문서 이해 벤치마크

BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

BaFCo는 저자원 언어인 벵골어(Bangla) 문서 이해의 공백을 메우기 위해 방글라데시 정부 서식 200개를 기반으로 구축된 벤치마크로, 문서 레이아웃 분석(DLA)과 핵심 정보 추출(KIE)을 위한 26개 세밀 엔티티 유형과 관계 어노테이션을 제공한다. ChatGPT, Gemini, Claude, Qwen, Kimi 시리즈 MLLM을 제로샷 및 사고의 연쇄(Chain-of-Thought) 프롬프트로 평가한 결과, 현재 모델들은 세밀한 서식 엔티티 위치 파악에서 뚜렷한 한계를 드러냈으며 Gemini 3 Pro가 DLA와 KIE 모두에서 가장 높은 성능을 기록했다.

arXiv:2607.03650v1cs.CV

ClinOCR-Bench: 광학 문자 인식 모델 평가를 위한 종합적인 임상 스캔 문서 데이터셋

ClinOCR-Bench: A Comprehensive Clinical Scanned Document Dataset for Optical Character Recognition Model Evaluation

외부 검사실 보고서 및 수기 작성 양식과 같은 스캔된 의료 문서에서 텍스트 정보를 추출하는 것은 현대 전자 건강 기록(EHR) 시스템에서 주요 과제로 남아 있습니다. 최근 비전-언어 모델(VLM)의 발전은 기존 OCR 도구 대비 큰 가능성을 보여주고 있습니다. 그러나 현재까지 대부분의 임상 OCR 연구는 기관 내 비공개 데이터를 기반으로 수행되었습니다. 저자들의 지식 범위 내에서, 임상 도메인에서 OCR 모델을 평가할 수 있는 공개 데이터셋은 거의 존재하지 않습니다. 더불어 OCR 성능을 저하시키는 일반적인 스캔 아티팩트가 기존 데이터셋에 반영되어 있지 않아, 체계적인 평가가 불가능한 상황입니다. 이에 본 연구에서는 공개적으로 이용 가능한 현실적인 OCR 벤치마크 데이터셋인 ClinOCR-Bench를 공개합니다. 이 데이터셋은 Normal(정상), Handwriting(수기), Poor Quality(저품질), Rotation(회전), Tables(표), Mix-artifacts(복합 아티팩트)의 6개 서브셋에 걸쳐 384장의 스캔 이미지로 구성됩니다. ClinOCR-Bench의 주요 특징은 다음과 같습니다: 1) 다양한 문서 유형 및 레이아웃, 2) 일반적인 EHR 스캔 아티팩트의 완전한 포괄, 3) 개인 건강 정보 미포함, 4) 템플릿 기반 학습/테스트 분할, 5) OCR 벤치마킹에 적합한 충분한 샘플 크기. 기준선 OCR 성능은 최신 오픈 가중치 및 상용 VLM을 사용하여 평가되었습니다. 데이터셋과 문서는 GitHub(https://github.com/ClinOCR-Bench/ClinOCR-Bench)에서 확인할 수 있습니다.

arXiv:2508.16674v2cs.CV

MedRepBench: 의료 보고서 해석을 위한 종합 벤치마크

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

실제 의료 보고서 이미지에서 구조화된 정보를 추출·해석하는 비전-언어 모델(VLM) 성능을 평가하기 위해, 1,925개의 비식별화된 중국어 의료 보고서 이미지로 구성된 벤치마크 MedRepBench를 제안한다. 필드 수준 재현율(recall) 기반 객관적 평가와 LLM 판정자를 활용한 주관적 평가를 모두 지원하며, GRPO 기반 정렬 기준선 적용 시 필드 재현율이 최대 6%p 향상됨을 보인다.

arXiv:2607.00747v1cs.CV

캐스케이드 객체 검출을 위한 능동 학습: 표 추출 파이프라인에서 커버리지와 불확실성의 균형

Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

비즈니스 문서 표 추출을 위한 캐스케이드 파이프라인(표 검출 → 표 구조 인식)에 능동 학습(AL)을 적용할 때 단계 간 의존성을 고려하지 못하는 문제를 해결하기 위해, 이미지 분류용 하이브리드 커버리지-불확실성 샘플링 방법인 Uncertainty Herding을 캐스케이드 객체 검출에 최초로 적용하고 RankFusion과 CAPA라는 두 가지 파이프라인 인식 확장 방법을 제안한다. PubTables-1M, FinTabNet 등 4개 데이터셋 실험에서 CAPA가 가장 일관된 전략으로 나타났으며, RankFusion은 더 높은 기대 성능을 달성하나 분산이 크다는 트레이드오프가 존재함을 확인하였다.

arXiv:2607.00734v1cs.CV

ConRTF: 실시간 트랜스포머 표 구조 인식을 위한 엣지 제약 경계 분포 정제

ConRTF: Edge-Constrained Boundary Distribution Refinement for Realtime TransFormer Table Structure Recognition

문서 이미지에서 표 구조를 인식할 때 행(row)과 열(column) 경계의 구조적 비대칭성을 학습 손실 함수에 명시적으로 반영하는 엣지 제약 세밀 위치 추정 손실(EFL)을 제안하며, 이를 D-FINE 기반 실시간 검출기에 통합한 ConRTF는 추론 파이프라인 변경 없이 PubTables-1M에서 RT-DETRv2, YOLOv10-11 대비 최대 +1.6 GriTS 포인트 향상을 달성한다. 또한 2k~3k개의 주석 데이터만으로도 견고한 정확도를 유지하는 높은 데이터 효율성을 보여준다.

arXiv:2606.28796v1cs.CL

다단계 LLM 파이프라인을 통한 구조 보존 문서 번역: 마라티어 사례 연구

Structure-Preserving Document Translation via Multi-Stage LLM Pipeline: A Case Study in Marathi

인도의 정부 문서는 마라티어와 같은 지역 언어로 주로 발행되어, 비원어민 독자, 주(州) 간 행정 기관, 정책 분석가에게 상당한 접근성 장벽을 초래한다. 최근 신경망 기계 번역(machine translation)의 발전으로 문장 수준의 번역 품질이 향상되었지만, 기존 시스템은 대부분 문서 구조, 서식 무결성, 도메인 특화 용어를 무시함으로써 공식 문서에 대한 적용 가능성을 제한하고 있다. 본 논문은 레이아웃 충실도를 유지하면서 엔드-투-엔드 문서 변환을 수행할 수 있는, 구조 보존 방식의 마라티어-영어 정부 문서 번역 프레임워크를 제시한다. 제안된 시스템은 레이아웃 인식 광학 문자 인식(OCR), 좌표 기반 텍스트 추출, 대규모 언어 모델(LLM) 기반 번역, 그리고 HTML 표현을 통한 구조화된 문서 재구성을 통합한다. 공간적 정렬 제약을 적용하고 계층적 문서 요소를 보존함으로써, 본 프레임워크는 원본 문서와 번역 문서 간의 구조적 일관성을 보장한다. 실제 마라티어 정부 PDF에 대한 실험적 평가를 통해, 기존의 텍스트 전용 번역 파이프라인에 비해 구조 보존성, 번역 일관성, 용어 일관성이 향상되었음을 확인하였다. 제안된 프레임워크는 전자 정부(e-governance) 및 행정 문서 처리를 위한 확장 가능한 다국어 접근성 솔루션에 기여한다.

arXiv:2606.24118v1cs.CV

문서 내 요소를 정밀하게 그라운딩하는 대규모 멀티모달 모델

An LMM for Precisely Grounding Elements in Documents

문서 내 시각적 그라운딩은 문서 이해, 심층 연구, 문서 오류 탐지 등의 영역에서 대규모 멀티모달 모델(LMM)에게 필수적인 능력이다. 그러나 기존 접근법들은 텍스트가 풍부한 문서 이미지에서 그라운딩 정밀도가 낮아, 신뢰할 수 있는 추론에 필요한 핵심 문서 요소를 정확히 찾아내지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 정밀한 요소 그라운딩에 특화되고 Document VQA 태스크에 맞게 추가 최적화가 가능한 LMM인 PreciseDoc을 제안한다. 구체적으로, 기본 위치 파악 능력을 향상시키기 위해 카메라 효과가 적용된 합성 손기입 문서를 포함하여 세밀한 좌표의 페어링된 메타데이터를 갖춘 고품질 문서를 대량 생산할 수 있는 두 가지 파이프라인으로 난이도 높은 학습 데이터를 구축하였다. 이 모델은 단순한 단일 텍스트 위치 파악을 넘어 이력서에서 개인 정보를 찾아내는 것과 같은 실세계 기능도 수행한다. 나아가, 그라운딩과 추론을 강화학습으로 공동 감독하여 그라운딩된 근거의 기여도를 높이는 시각적 그라운딩 추론을 위한 학습 패러다임을 도입한다. 다양한 벤치마크에 대한 포괄적인 평가를 통해 제안된 데이터와 방법이 문서 공간 그라운딩 및 문서 이해에서 우위를 보임을 확인하였다.

arXiv:2606.18192v2cs.AI

Stanford EDGAR Filings Dataset: 레이아웃 충실 및 토큰 효율적인 사전학습 데이터로의 미국 기업 및 재무 공시 재구성

The Stanford EDGAR Filings Dataset: Reconstructing U.S. Corporate and Financial Disclosures into Layout-Faithful and Token-Efficient Pretraining Data

고품질의 공개 웹 말뭉치가 점점 고갈됨에 따라, 깨끗한 긴 문맥(long-context) 문서는 대규모 언어 모델(LLM)의 학습 데이터로서 희소하고 비싼 자원이 되었습니다. 기존의 긴 문맥 말뭉치는 종종 독점적이고 획득 비용이 비싸거나, 합성으로 생성되었거나, 프로그래밍과 같은 좁은 도메인에 집중되어 있습니다. 우리는 재무 언어 모델링 및 평가를 위해 SEC 제출 문서를 레이아웃 충실의 MultiMarkdown으로 재구성한 오픈 소스인 Stanford EDGAR Filings Dataset (SEFD)를 소개합니다. SEFD는 감사된 재무제표, 위험 공시, 소유권 보고서, 회계 주석, 시장 변동성 유발 이벤트 제출 문서를 긴 문맥 사전학습 데이터로 사용 가능하게 만들며, 재무적 추론, 예측, 규정 준수(compliance), 문서 이해의 기초가 됩니다. 결과적으로 생성된 말뭉치는 토큰 효율적이고 모델 즉시 사용 가능(model-ready)하며, Common Crawl 기반 말뭉치와의 중복이 0.1% 미만입니다. 우리는 152B 토큰 규모의 초기 공개 스냅샷인 SEFD-v1을 공개하고, 550B 토큰으로 추정되는 더 큰 185만 건의 제출 문서 아카이브에 대한 말뭉치 수준의 분석을 제공합니다. 또한 SEFD에서 파생된 두 가지 벤치마크인 EDGAR-Forecast와 EDGAR-OCR을 소개합니다. EDGAR-Forecast는 모델 지식 컷오프(cutoff) 이후의 제출 문서 기반 수치 예측을 평가하고, EDGAR-OCR은 복잡한 재무 테이블의 전사를 평가합니다.

arXiv:2602.10384v4cs.CL

테이블이 복잡해질 때: 프랑스어 금융 문서에서의 멀티모달 모델 평가

When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

비전-언어 모델(VLMs)은 다양한 문서 이해 작업에서 우수한 성능을 보이지만, 전문적이고 비영어권 도메인에서의 신뢰성은 아직 충분히 탐구되지 않았습니다. 이러한 격차는 특히 금융 분야에서 중요한데, 금융 문서는 밀도 높은 규제 텍스트, 수치 테이블, 시각적 차트가 혼재되어 있고 추출 오류가 실질적인 결과를 초래할 수 있기 때문입니다. 본 연구에서는 프랑스어 금융 문서 이해를 평가하기 위한 첫 번째 멀티모달 벤치마크인 Scribe Finance를 소개합니다. 해당 데이터셋은 실제 투자 설명서, KIDs, PRIIPs에서 추출한 1,204개의 전문가 검증 질문을 포함하며, 텍스트 추출, 테이블 이해, 차트 해석, 멀티턴 대화형 추론을 아우릅니다. 우리는 LLM-as-judge 프로토콜을 사용하여 6개의 오픈 가중치(open-weight) VLM(8B-124B 파라미터)을 평가했습니다. 모델들은 텍스트 및 테이블 작업에서는 강력한 성능(85-90% 정확도)을 보였으나, 차트 해석(34-62%)에서는 어려움을 겪었습니다. 가장 두드러운 점은 멀티턴 대화에서 명확한 실패 모드가 드러났다는 것으로, 초기 실수가 연속된 턴에 걸쳐 전파되어 모델 크기에 상관없이 정확도를 약 50%까지 떨어뜨렸습니다. 이러한 결과는 현재 VLM이 명확히 정의된 추출 작업에는 효과적이지만, 대화형 다단계 금융 분석에서는 여전히 취약함을 시사합니다. Scribe Finance는 이러한 결과가 중요한 상황에서 진전을 측정하고 견인하는 도전적인 벤치마크를 제공합니다.

arXiv:2603.02803v3cs.CV

고대 그리스어 비판판을 위한 구조 인식 텍스트 인식

Structure-Aware Text Recognition for Ancient Greek Critical Editions

비전-언어 모델(VLMs)의 최근 발전은 엔드-투-엔드 문서 이해를 변화시켰습니다. 그러나 역사적 학술 텍스트의 복잡한 레이아웃 의미를 해석하는 능력은 여전히 제한적입니다. 본 논문은 조밀한 참조 계층 구조와 광범위한 여백 주석을 포함하는 고대 그리스어 비판판(critical editions)에 대한 구조 인식 텍스트 인식을 연구합니다. 우리는 두 가지 새로운 자원을 소개합니다: (i) 제어된 조판 및 레이아웃 변화를 통해 TEI/XML 소스에서 생성된 185,000개의 페이지 이미지로 구성된 대규모 합성 말뭉치와, (ii) 1세기 이상의 편집 및 조판 관행을 아우르는 실제 스캔본으로 구성된 선별된 벤치마크입니다. 이러한 데이터셋을 사용하여, 우리는 제로샷(zero-shot) 및 미세조정(fine-tuning) 환경에서 세 가지 최첨단 VLM을 평가했습니다. 실험 결과, 고도로 구조화된 역사 문서에 직면했을 때 현재 VLM 아키텍처에는 상당한 제한이 있음을 밝혀냈습니다. 제로샷 설정에서 대부분의 모델은 기존 기성 소프트웨어에 비해 성능이 현저히 떨어집니다. 그럼에도 불구하고, Qwen3VL-8B 모델은 최첨단 성능을 달성하여 실제 스캔본에서 중앙값 문자 오류율(CER) 1.0%를 기록했습니다. 이러한 결과는 복잡한 학술 문서의 구조 인식 인식에 있어 VLM의 현재 단점과 미래 잠재력을 모두 강조합니다.