vxreal.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.24092v1cs.AI

DocMIDE: 시각적으로 풍부한 문서에서 다중 홉 암시적 유도 학습

DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents

실제 문서 처리 시스템은 경직된 사전 정의 스키마에 의존하지만, 중요한 대상 필드는 페이지에 직접 대응하는 시각적 요소가 없는 경우가 많다. 이러한 암시적 값을 추출하려면 하위 카테고리 집계나 시각적 표시에 대한 추론과 같은 다중 홉 유도가 필요하다. 기존 방법은 명시적 텍스트 스팬이나 단순한 암시적 질의는 처리하지만, 표준 미세조정 후에도 다중 홉 시각적 추론에서는 실패한다. 모델이 잘못된 시각적 증거를 검색하거나, 올바르게 검색한 뒤 유도의 중간 단계를 건너뛴다. 이를 위해 답을 유도하기 전에 시각적 증거를 명시적으로 검색하도록 소형 비전-언어 모델을 학습시키는 미세조정 프레임워크인 DocMIDE를 제안한다. DocMIDE는 생성을 plan-retrieve-derive 구조로 제한하고, 검증된 참조 trace에 대해 출력 형식, 검색된 증거 블록, 모든 중간 유도 단계, 최종 값을 채점하는 4구성요소 규칙 기반 보상 하에서 Group Relative Policy Optimization(GRPO)으로 최적화한다. 4,151쌍 암시적 추출 벤치마크에서 DocMIDE는 소량의 주석 예시만으로 Qwen3.5-4B의 정확도를 70.8%에서 95.9%로 끌어올리며, 두 번째 백본 아키텍처로도 전이된다. 지도 학습 시연만으로는 우리가 시험한 어떤 예산에서도 이 격차를 메우지 못한다. 중간 단계에 보상을 주는 것이 격차를 메운다.