PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23592v1cs.CV

복잡성이 아닌 붕괴: 종단간(End-to-End) 문서 파싱을 위한 실패 조건부 분해 복구

Collapse, Not Complexity: Failure-Conditioned Decomposition Repair for End-to-End Document Parsing

종단간(End-to-End) 문서 파서는 복잡한 페이지를 위한 선택적 추론(reasoning) 모드를 점점 더 많이 제공하고 있다. 하나의 고정된(frozen) 4B 체크포인트를 사용하여 엔트로피 계층화된 180페이지 규모의 발견용 샘플(discovery sample)에서, 복잡성은 잘못된 결정 변수임이 드러났다. 추론은 1.54배의 토큰을 사용하면서도 평균 품질(Overall)을 2.21만큼 낮추며, 사전등록된(preregistered) 입력 전용 모델은 그 부호 있는(signed) 이득을 예측하지 못한다(홀드아웃 AUROC 0.47로, 우연 수준과 구분되지 않음). 이러한 이득은 이미 통상적인 처리 과정(ordinary pass)에서 붕괴(collapse)가 발생한 페이지에 집중되며, 이들 페이지는 복잡해 보이지 않는다. 공유된 붕괴(shared collapse)는 정상 페이지보다 레이아웃 엔트로피가 더 낮음에도 불구하고, 예산을 두 배로 늘려도 해결되지 않는 퇴화된 반복(degenerate repetition)으로 19배의 토큰을 소비한다. 모드를 전환해도 이러한 붕괴는 거의 복구되지 않는다: 추론 모드에서도 83%가 재발한다. 우리는 대신 통상적인 처리 과정의 트레이스(trace)로부터 붕괴를 탐지하고, 프로젝션(projection)을 통해 페이지를 분해한 뒤 각 영역을 다시 파싱한다. 이 복구(repair) 방식은 1.13배의 토큰으로 평균 품질(Overall)을 1.40만큼 향상시키며(95% CI [0.68, 2.16]), 세 개의 체크포인트에서 재현되고, 모든 파라미터를 고정한 상태에서 나머지 1,175개의 벤치마크 페이지에서 2.41만큼의 향상(CI [1.64, 3.46])을 달성한다.

arXiv:2607.22679v1cs.AI

DOSA: 장문서 구조 분석을 위한 트리 기반 자기회귀 프레임워크

DOSA: A Tree-Guided, Self-Regressive Framework for Long Document Structure Analysis

시각적으로 풍부한 문서에서는 정보가 표, 헤더, 텍스트 블록과 같은 개별 페이지 객체에만 인코딩되는 것이 아니라, 그들 간의 구조적 관계에도 인코딩되어 있어, 문서 구조 분석은 정보 검색 및 문서 이해의 기초가 된다. 그러나 장거리 의존성과 이질적인 레이아웃을 갖는 다중 페이지 문서에서는 이러한 관계를 정확히 추론하는 것은 여전히 어렵다. 이를 해결하기 위해, 페이지 객체 간의 관계를 추론하고 문서 수준의 의미 트리를 재구성하기 위한 트리 기반 자기회귀 프레임워크인 DOcument Structure Analyzer(DOSA)를 제안한다. DOSA는 문서를 청크 단위로 처리하며, 각 페이지 객체에 대해 시각적, 텍스트, 레이아웃 특징을 융합하고 계층적 관계 및 순서 관계를 예측한다. 예측된 관계는 의미 트리를 점진적으로 구성하는 데 사용되며, 이는 이후 청크에 대한 추론을 안내하는 구조적 컨텍스트로 활용된다. 5개 벤치마크에 대한 실험 결과는 DOSA의 효과를 보여주며, 가장 도전적인 다중 페이지 계층 벤치마크인 DocHieNet에서 F1 4점, TEDS 19점까지 향상되었다.

arXiv:2607.22200v1cs.CV

LayoutLite: 효율적인 문서 OCR을 위한 토큰 수준 암묵적 레이아웃 분석

LayoutLite: Token-Level Implicit Layout Analysis for Efficient Document OCR

비전-언어 모델 기반 end-to-end OCR 시스템은 복잡한 문서 OCR에서 강력한 성능을 달성했지만, 문서 이미지에서 생성되는 대량의 시각적 토큰으로 인해 효율성이 제한된다. 이러한 토큰 중 많은 수가 빈 여백이나 시각적으로 중복된 영역에 해당하지만, 범용 시각적 토큰 압축 방법을 직접 적용하면 OCR에 중요한 세밀한 디테일이 제거될 수 있다. 본 논문에서는 효율적인 문서 OCR을 위한 경량 플러그앤플레이 모듈인 LayoutLite를 제안한다. 명시적 문서 레이아웃 검출에 의존하는 대신, LayoutLite는 비전 인코더와 언어 디코더 사이에서 토큰 수준의 암묵적 레이아웃 분석을 수행한다. 비전 인코더의 다층 시각적 표현을 집계하고, 경량 점수화 네트워크로 각 시각적 토큰의 중요도 점수를 예측한다. 정보가 적은 토큰은 언어 디코더에 입력되기 전에 제거되며, 유지된 토큰의 원래 공간 위치 정보는 보존된다. 인간 주석 없이 LayoutLite를 학습하기 위해, 토큰 선택을 강화학습 문제로 공식화하고, OCR 출력 일관성에 기반한 그룹 상대 정책 최적화 목표와 함께 학습을 안정화하기 위한 보조 레이아웃 지도 신호를 사용하여 이를 최적화한다. OmniDocBench에서의 실험은 LayoutLite가 인식 품질의 무시할 수 있는 수준의 저하로 시각적 토큰 길이와 추론 비용을 크게 줄일 수 있음을 보여준다. FireRed-OCR과 Logics-Parsing-V2라는 두 OCR 특화 VLM에서 LayoutLite를 추가로 평가했다. 최대 50% 토큰 압축 하에서 LayoutLite는 두 모델 모두에서 거의 동일한 점수를 유지하면서 prefill 지연, FLOPs, KV 캐시 메모리를 40% 이상 줄였으며, 추론 오버헤드는 소폭만 추가되었다. 이러한 결과는 토큰 수준 암묵적 레이아웃 분석이 VLM 기반 OCR 시스템을 가속하는 데 효과적이고 실용적인 접근법임을 보여준다.

arXiv:2607.07836v3cs.AI

Infinity-Parser2 기술 보고서

Infinity-Parser2 Technical Report

우리는 end-to-end 문서 파싱을 위해 조절 가능한 데이터 합성 파이프라인과 다중 작업 강화학습을 결합한 대규모 멀티모달 모델 Infinity-Parser2를 제시하며, 충실히 주석이 달린 파싱 코퍼스의 지속적인 부족 문제를 해결한다. 우리의 기여는 세 가지이다. 첫째, 조절 가능한 렌더링 프레임워크와 반복적 정제 루프를 결합한 확장 가능한 합성 엔진을 구축하고, 이를 활용해 다양한 문서 유형을 아우르는 500만 샘플 규모의 이중언어(중국어/영어) 코퍼스 Infinity-Doc2-5M을 구성해 오픈소스로 공개한다. 이 코퍼스는 요소 바운딩 박스, 정규 콘텐츠 형식(Markdown, HTML, LaTeX, SMILES, 구조화된 차트), 전체 페이지 읽기 순서로 주석이 달려 있다. 둘째, 검증 가능한 다중 작업 보상 시스템을 도입하여 8개의 공동 학습 목표(문서 파싱, 레이아웃 분석, 테이블 파싱, 수식 파싱, 차트 파싱, 화학식 파싱, 문서 VQA, 일반 멀티모달 이해)에 걸친 Joint Reinforcement Learning을 가능하게 하고, 단일 최적화 신호에서 인지, 구조, 추론을 통합한다. 셋째, 공유 아키텍처 하에 두 가지 변형을 공개한다: Infinity-Parser-7B 대비 3.68배 처리량 향상과 저지연 추론을 위해 최적화된 Infinity-Parser2-Flash, 그리고 정밀도가 중요한 설정을 위해 설계된 Infinity-Parser2-Pro. Infinity-Parser2-Pro는 olmOCR-Bench에서 최첨단 87.6%, ParseBench에서 74.3%를 달성하여 DeepSeek-OCR-2, PaddleOCR-VL-1.5, MinerU2.5를 능가하며, 차트, 화학식, 문서 VQA에 대해 강한 일반화 성능을 보인다.

arXiv:2603.25168v2cs.CV

ET-SAM: 통합 장면 텍스트 검출 및 레이아웃 분석을 위한 SAM 기반 효율적 포인트 프롬프트 예측

ET-SAM: Efficient Point Prompt Prediction in SAM for Unified Scene Text Detection and Layout Analysis

Segment Anything Model(SAM) 기반 기존 연구들은 통합 장면 텍스트 검출 및 레이아웃 분석에서 유망한 성능을 달성해 왔다. 그러나 수천 개의 전경 포인트를 프롬프트로 샘플링하기 위해 픽셀 수준 텍스트 분할(segmentation)에 일반적으로 의존하는 방식은 만족스럽지 못한 추론 지연과 제한된 데이터 활용을 초래한다. 이러한 문제를 해결하기 위해, 우리는 SAM 기반 통합 장면 텍스트 검출 및 레이아웃 분석을 위한 두 개의 디코더를 갖춘 효율적 프레임워크 ET-SAM을 제안한다. 기술적으로, 우리는 소수의 전경 포인트를 확보하기 위해 단어 히트맵(word heatmap)을 생성하는 경량 포인트 디코더를 맞춤 설계하여, 과도한 포인트 프롬프트를 제거하고 추론을 가속한다. 픽셀 수준 분할에 대한 의존 없이, 우리는 이질적인 텍스트 수준 주석을 가진 기존 데이터를 활용하기 위한 공동 학습 전략을 추가로 설계한다. 구체적으로, 다중 수준, 단어 수준만, 줄 수준만 주석을 가진 데이터셋들을 병렬로 결합하여 통합 학습 세트를 구성한다. 이러한 데이터셋에 대해, 데이터셋 간 불일치를 완화하기 위해 포인트 디코더와 계층적 마스크 디코더 모두에 세 가지 대응하는 학습 가능한 태스크 프롬프트 세트를 도입한다. 광범위한 실험 결과, 이전 SAM 기반 아키텍처와 비교하여 ET-SAM은 HierText에서 경쟁력 있는 성능을 유지하면서 약 3배의 추론 가속을 달성했으며, Total-Text, CTW1500, ICDAR15에서 평균 11.0% F-score를 향상시켰음을 보여준다.