PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23592v1cs.CV

복잡성이 아닌 붕괴: 종단간(End-to-End) 문서 파싱을 위한 실패 조건부 분해 복구

Collapse, Not Complexity: Failure-Conditioned Decomposition Repair for End-to-End Document Parsing

종단간(End-to-End) 문서 파서는 복잡한 페이지를 위한 선택적 추론(reasoning) 모드를 점점 더 많이 제공하고 있다. 하나의 고정된(frozen) 4B 체크포인트를 사용하여 엔트로피 계층화된 180페이지 규모의 발견용 샘플(discovery sample)에서, 복잡성은 잘못된 결정 변수임이 드러났다. 추론은 1.54배의 토큰을 사용하면서도 평균 품질(Overall)을 2.21만큼 낮추며, 사전등록된(preregistered) 입력 전용 모델은 그 부호 있는(signed) 이득을 예측하지 못한다(홀드아웃 AUROC 0.47로, 우연 수준과 구분되지 않음). 이러한 이득은 이미 통상적인 처리 과정(ordinary pass)에서 붕괴(collapse)가 발생한 페이지에 집중되며, 이들 페이지는 복잡해 보이지 않는다. 공유된 붕괴(shared collapse)는 정상 페이지보다 레이아웃 엔트로피가 더 낮음에도 불구하고, 예산을 두 배로 늘려도 해결되지 않는 퇴화된 반복(degenerate repetition)으로 19배의 토큰을 소비한다. 모드를 전환해도 이러한 붕괴는 거의 복구되지 않는다: 추론 모드에서도 83%가 재발한다. 우리는 대신 통상적인 처리 과정의 트레이스(trace)로부터 붕괴를 탐지하고, 프로젝션(projection)을 통해 페이지를 분해한 뒤 각 영역을 다시 파싱한다. 이 복구(repair) 방식은 1.13배의 토큰으로 평균 품질(Overall)을 1.40만큼 향상시키며(95% CI [0.68, 2.16]), 세 개의 체크포인트에서 재현되고, 모든 파라미터를 고정한 상태에서 나머지 1,175개의 벤치마크 페이지에서 2.41만큼의 향상(CI [1.64, 3.46])을 달성한다.

arXiv:2607.13639v1cs.CV

OvisOCR2 기술 보고서

OvisOCR2 Technical Report

OvisOCR2는 0.8B 규모의 문서 파싱 모델을 소개한다. OvisOCR2는 엔드투엔드(end-to-end) 파서로 설계되었으며, 문서 페이지 이미지가 주어지면 텍스트, 수식, 표, 시각 영역을 포함해 자연스러운 읽기 순서의 Markdown 표현을 생성한다. 필터링된 실제 문서 어노테이션과, 렌더링된 이미지와 Markdown 타깃이 동일한 HTML 소스에서 파생된 합성 페이지를 결합하는 데이터 엔진을 구축했다. 학습 방침에는 지도 미세조정, 다중 구성 요소 보상 설계를 적용한 4B 분기에서의 강화학습, 0.8B 모델로의 온-정책 증류(distillation), 모델 융합이 포함된다. OmniDocBench v1.6에서 OvisOCR2는 96.58의 최신 최고(state-of-the-art) 종합 점수를 달성하여, 이전에는 파이프라인(pipeline) 방식이 주도하던 리더보드 최상위에 엔드투엔드 모델을 올렸고, 엔드투엔드 문서 파싱의 잠재력을 부각한다. PureDocBench에서도 OvisOCR2는 75.06의 최고 Avg3 점수를 기록한다. 이 두 공개 벤치마크를 넘어, 더 넓은 범위의 롱테일(long-tail) 및 도전적인 시나리오를 포괄하도록 설계된 사내 벤치마크에서 OvisOCR2를 평가했으며, 비교 대상 방법들 중 최고의 종합 성능을 달성해 일반화와 견고성에 대한 추가적 증거를 제공한다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2 에서 이용할 수 있다.

arXiv:2607.07836v3cs.AI

Infinity-Parser2 기술 보고서

Infinity-Parser2 Technical Report

우리는 end-to-end 문서 파싱을 위해 조절 가능한 데이터 합성 파이프라인과 다중 작업 강화학습을 결합한 대규모 멀티모달 모델 Infinity-Parser2를 제시하며, 충실히 주석이 달린 파싱 코퍼스의 지속적인 부족 문제를 해결한다. 우리의 기여는 세 가지이다. 첫째, 조절 가능한 렌더링 프레임워크와 반복적 정제 루프를 결합한 확장 가능한 합성 엔진을 구축하고, 이를 활용해 다양한 문서 유형을 아우르는 500만 샘플 규모의 이중언어(중국어/영어) 코퍼스 Infinity-Doc2-5M을 구성해 오픈소스로 공개한다. 이 코퍼스는 요소 바운딩 박스, 정규 콘텐츠 형식(Markdown, HTML, LaTeX, SMILES, 구조화된 차트), 전체 페이지 읽기 순서로 주석이 달려 있다. 둘째, 검증 가능한 다중 작업 보상 시스템을 도입하여 8개의 공동 학습 목표(문서 파싱, 레이아웃 분석, 테이블 파싱, 수식 파싱, 차트 파싱, 화학식 파싱, 문서 VQA, 일반 멀티모달 이해)에 걸친 Joint Reinforcement Learning을 가능하게 하고, 단일 최적화 신호에서 인지, 구조, 추론을 통합한다. 셋째, 공유 아키텍처 하에 두 가지 변형을 공개한다: Infinity-Parser-7B 대비 3.68배 처리량 향상과 저지연 추론을 위해 최적화된 Infinity-Parser2-Flash, 그리고 정밀도가 중요한 설정을 위해 설계된 Infinity-Parser2-Pro. Infinity-Parser2-Pro는 olmOCR-Bench에서 최첨단 87.6%, ParseBench에서 74.3%를 달성하여 DeepSeek-OCR-2, PaddleOCR-VL-1.5, MinerU2.5를 능가하며, 차트, 화학식, 문서 VQA에 대해 강한 일반화 성능을 보인다.

arXiv:2607.11562v1cs.CV

MonkeyOCRv2: 문서 AI를 위한 시각-텍스트 파운데이션 모델

MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

주류 시각 인코더는 자연 이미지로 사전학습되어 있어, 밀집된 텍스트와 세밀한 문자 획이 문자 수준의 시각적 인식을 요구하는 문서 이미지에는 문서 특화 적응 없이는 효과적으로 적용할 수 없다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전학습 모델인 MonkeyOCRv2를 제안한다. 먼저, 17개 언어에 걸쳐 1억 1,300만 장의 이미지로 구성된, 현재까지 알려진 가장 대규모의 문서 이미지 사전학습 코퍼스인 MonkeyDoc v2를 구축한다. 다음으로, 이미지-텍스트 생성과 픽셀 수준 문서 재구성을 공동으로 학습하는 사전학습 전략을 제안한다. 전자는 시각적 표현과 텍스트 내용을 정렬하고, 후자는 문자 획과 레이아웃 세부 정보를 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 위변조 탐지, 겹침 텍스트 분할 등 5가지 대표적인 문서 분석 태스크에 대해 광범위한 실험을 수행하였으며, 기존 인코더를 MonkeyOCRv2로 교체하면 5가지 태스크 전반에서 일관되게 성능이 향상됨을 확인하였다. 마지막으로, 문서 파싱 및 문서 이해라는 더 난이도 높은 태스크에서 멀티모달 대규모 언어 모델(LLM)의 비전 인코더로서의 효용성을 검증한다. 동결된 상태로 경량 언어 모델과 결합하면, 디지털 문서와 촬영 문서를 17개 언어에 걸쳐 평가하는 최근 벤치마크인 MDPBench에서 새로운 오픈소스 최고 성능(state-of-the-art)을 달성하는 0.7B 문서 파싱 모델이 생성된다. 이 모델은 비전 인코더 크기가 약 11배 작음에도 불구하고 기존 최고 성능인 3B dots.mocr을 절대 성능 기준 2.8% 상회한다. 동결된 인코더는 동일한 학습 설정 하에 8개 벤치마크에서 CLIP, DINO, SAM 기반의 모델들을 능가하는 문서 이해 모델도 구동한다. 이러한 결과는 문서 특화 시각 사전학습이 문서 인텔리전스의 독립적인 기반으로 기능할 수 있음을 시사한다.

arXiv:2607.02956v1cs.CV

MORE: 다국어 문서 파싱 벤치마크 및 평가

MORE: A Multilingual Document Parsing Benchmark and Evaluation

다국어 문서에는 풍부한 지역 문화, 과학적 발견, 역사적 기록이 담겨 있다. 이러한 내용을 구조화된 기계 가독 형식으로 파싱하는 것은 전 세계 지식을 활용하는 데 필수적이다. 그러나 기존 벤치마크는 주로 영어와 중국어 같은 고자원(high-resource) 언어에 집중되어 있어, 다른 언어에서의 모델 성능에 관한 평가 사각지대가 존재한다. 최근 비전-언어 모델(VLM)들이 수백 개의 언어 지원을 표방하고 있지만, 정답 데이터(ground truth)의 부재로 인해 이러한 능력을 실증적으로 검증하는 것이 불가능하다. 이러한 간극을 해소하기 위해, 우리는 다국어 문서 파싱 평가를 위해 설계된 대규모 벤치마크인 MORE를 소개한다. MORE는 세 가지 핵심 차원에서 차별화된다: (1) 전례 없는 규모: 149개 언어를 포괄하여 현재까지 가장 언어적으로 다양한 벤치마크이며, (2) 구조적 복잡성: 기존 연구와 달리 평문(plain text)을 넘어 코드 블록, 표, 목차와 같은 구조적 요소까지 평가 범위를 확장하고, (3) 데이터 진정성: 모든 샘플은 모델 보조 후 인간 검수 방식의 어노테이션 파이프라인을 통해 실제 문서에서 수집된다. 우리는 MORE를 사용하여 최신 모델들을 평가하고, 저빈도(long-tail) 언어에 대한 새로운 성능 기준선을 수립하며, 현실적이고 다양한 시나리오에서 모델 능력을 진단하는 벤치마크의 유효성을 검증한다. MORE 데이터셋은 https://github.com/zimoqingfeng/MORE 에서 공개될 예정이다.

arXiv:2606.24447v1cs.CV

P-MTP: 점진적 깊이 스케일링을 활용한 다중 토큰 예측 기반 효율적 문서 파싱

P-MTP: Efficient Document Parsing via Multi-Token Prediction with Progressive Depth Scaling

비전-언어 모델(VLM)은 이미지에서 구조화된 텍스트로의 종단 간(end-to-end) 매핑을 가능하게 함으로써 문서 파싱에 혁신을 가져왔으나, 특히 토큰 밀도가 높은 문서에서 심각한 지연 병목을 야기한다. 다중 토큰 예측(MTP, Multi-Token Prediction)은 추론 가속화를 위한 유망한 접근법으로 부상했지만, 더 깊은 룩어헤드(look-ahead) 깊이로 확장할 때 최적화 불안정성으로 인해 그 잠재력이 제한된다. 본 논문에서는 경량 MTP 모듈을 활용한 점진적 다중 토큰 예측(Progressive Multi-Token Prediction)으로 룩어헤드 깊이를 확장하여 고처리량 문서 파싱을 실현하는 프레임워크 P-MTP를 제안한다. 구체적으로, 누적 경로 신뢰도(cumulative path reliability)와 회고적 목표 일관성(retrospective target consistency)을 이용해 서로 다른 룩어헤드 깊이를 적응적으로 재가중하는 점진적 커리큘럼 손실(Progressive Curriculum Loss)을 도입한다. 장거리 예측에서의 그래디언트 노이즈를 효과적으로 억제함으로써, P-MTP는 자동화된 쉬운 것에서 어려운 것으로의 최적화 전환을 촉진하여 모델이 점점 더 먼 룩어헤드 깊이를 습득할 수 있게 한다. 나아가, 추론 중 투기적 길이(speculative length)를 적응적으로 보정하여 유효 룩어헤드 깊이와 수용률을 극대화하는 신뢰도 기반 동적 드래프팅(Confidence-Gated Dynamic Drafting)을 제안함으로써 불필요한 연산 낭비를 최소화하고 추론 속도 향상의 한계를 더욱 확장한다. 다양한 벤치마크와 아키텍처에 걸친 실험 결과, P-MTP는 정확도 손실이 무시할 수 있는 수준에서 최대 5배의 속도 향상을 달성하며, 문서 파싱 분야에서 광범위한 룩어헤드 MTP에 대한 첫 번째 성공적인 검증을 제공한다.

arXiv:2606.18721v1cs.CV

표 구조 인식에서 포인터 손실 재고: 공간적 국소성을 위한 기하학적 인지 포인터 손실

Rethinking the Pointer Loss in Table Structure Recognition: Geometry-Aware Pointer Loss for Spatial Locality

포인터 네트워크를 사용하는 표 구조 인식(TSR)은 태그를 감지된 텍스트(또는 셀) 영역에 정렬하면서 HTML 시퀀스를 예측함으로써 인상적인 결과를 달성합니다. 그러나 우리의 분석에 따르면 포인터 네트워크가 실패할 때, 오류의 79.6%가 공간적으로 인접한 셀(맨해튼 거리 <= 2) 사이에서 발생합니다. 이에도 불구하고 표준 교차 엔트로피 손실은 모든 부정 후보에 동일한 가중치를 부여합니다. 본 연구에서는 정답(ground truth)에 대한 공간적 근접성을 기반으로 교차 엔트로피 목적 함수의 가중치를 재조정하는 기하학적 인지 포인터(GAP) 손실을 제안합니다. 역거리 가중치(inverse distance weighting)를 적용함으로써, GAP은 모델이 가장 어려워하는 부분에 그래디언트 흐름을 집중시킵니다: 즉, 인접한 이웃 셀이 먼 셀보다 더 강한 그래디언트를 받습니다. 우리의 접근 방식은 손실 계산에 대한 간단한 수정만 필요하며, 동일한 모델 아키텍처를 유지하면서 추가적인 추론 비용이 전혀 들지 않습니다. PubTabNet과 SynthTabNet에 대한 광범위한 실험을 통해 GAP이 인접 셀 오류를 일관되게 줄여 새로운 최첨단(SOTA) 성능을 달성함을 입증했습니다. 우리의 연구 결과는 손실 수준에서 기하학적 귀납적 편향(geometric inductive biases)을 통합하는 것이 견고한 TSR을 위한 간단하면서도 효과적인 접근 방식이 될 수 있음을 시사합니다. 우리의 코드는 https://github.com/teamreboott/GAP 에서 확인할 수 있습니다.

arXiv:2606.11977v1cs.CV

ParseFixer: 선택적 멀티모달 교정을 통한 문서 파싱 에이전트 프레임워크

ParseFixer: An Agentic Framework for Document Parsing via Selective Multimodal Correction

본 보고서에서는 DataMFM Challenge Track 1: Document Parsing에서 3위를 기록한 우리의 솔루션을 소개한다. 이 트랙은 모델이 문서 페이지 이미지로부터 텍스트 내용과 문서 구조를 보존하면서 구조화된 Markdown 문서를 복원할 것을 요구한다. 정확한 내용 복원과 충실한 구조 재구성이라는 상호 보완적 요구사항을 해결하기 위해, 우리는 백본 파싱과 선택적 교정을 위한 에이전트 프레임워크인 ParseFixer를 제안한다. ParseFixer는 두 가지 핵심 모듈로 구성된다: Full-Page Backbone Parsing(FBP)과 Agentic Selective Correction(ASC). FBP는 MinerU2.5 Pro로 안정적인 초기 Markdown 출력을 생성하고, ASC는 복구 가치가 높은 파싱 실패를 탐지한 뒤 검증-롤백(verify-and-rollback) 교정 과정을 통해 이를 수정한다. 오픈소스 백본 파싱 이후 선택적 멀티모달 교정을 배치함으로써, ParseFixer는 신뢰할 수 있는 백본 예측을 재작성하지 않으면서 핵심 문서 요소의 복원을 개선한다. 테스트 세트에서 우리의 최종 시스템은 전체 점수 61.78을 달성하고 Track 1에서 3위를 기록하여, 정확한 문서 파싱에 대한 효과를 입증한다. 코드는 https://github.com/iLearn-Lab/CVPRW26-ParseFixer 에서 공개될 예정이다.

arXiv:2606.07401v1cs.CV

RealDocBench: 실세계 규제 문서에 대한 필드 수준 QA 및 레이아웃 이해 벤치마크

RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents

문서 파싱 시스템은 모기지 심사, 재무 보고, 공급망 물류, 임상 기록과 같은 고위험·규제 업무 워크플로에 점점 더 많이 배포되고 있다. 그러나 대부분의 공개 벤치마크는 깨끗한 학술 레이아웃이나 합성 산문에서 파서를 평가하고, 단일 OCR 또는 markdown 수준 유사도 점수만 보고한다. 이러한 문서와 지표는 하류 에이전트가 실제로 필요로 하는 것, 즉 지저분한 실세계 페이지에서 특정 필드의 올바른 값과 잘 상관관계를 이루지 못한다. 우리는 실제 규제 문서로 구성된 이중 트랙 벤치마크인 RealDocBench를 소개한다. QA 트랙은 4개 도메인에 걸친 581개 문서에 대한 1,356개의 필드 수준 질문을 포함하며, 각 질문은 키-값 답변의 typed gold_dict와 짝을 이루고, 파서는 필드별 정확도와 엄격한 질문별 정확도 모두로 채점된다. 레이아웃 트랙은 9개 클래스 공개 분류체계 하에서 COCO 스타일 바운딩 박스로 주석된 1,500개의 사람 검증 페이지 이미지를 포함하며, 인접성을 고려한 분할/병합 복구를 포함하는 Hungarian matcher로 채점된다. 우리는 상용 파싱 API, 범용 VLM, 오픈 소스 OCR 모델에 이르는 18개 시스템을 통일된 추출-채점 프로토콜 하에서 평가하고, 정확도와 함께 페이지당 비용 및 캐시 버스팅을 적용한 지연 시간을 보고한다. RealDocBench는 단일 수치 벤치마크가 숨기는 넓은 성능 편차, 지속적으로 어려운 의료 하위 도메인, 그리고 운영 지점 전반에 걸친 비용/지연 시간의 급격한 트레이드오프를 드러낸다. 우리는 문서 파싱 시스템의 재현 가능하고 필드 수준의 비교를 지원하기 위해 데이터셋, 파서 어댑터, 평가 하네스를 공개한다.