jhancock.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.15706v2cs.AI

정확도 너머: 템플릿 문서 추출에서 비전-언어 모델의 견고성, 비용, 거버넌스 트레이드오프

Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction

비전-언어 모델(VLM)은 사업 문서에서 구조화된 필드를 추출하는 데 점점 더 많이 쓰이지만, 대부분의 평가는 깨끗한 벤치마크上的 정확도만 보고하며, 주어진 작업 복잡도에 맞는 접근을 고르는 실무자에게 거의 안내를 주지 않는다. 우리는 측정에 기반한 연구와 오픈소스 공개로 이 공백을 메운다. 11개 시스템(상용 3종, 추론형 2종, 사전학습 및 미세조정 형태의 오픈소스 VLM 5종, 비LLM OCR→정규식 하한선)을 합성 수표 750건의 홀드아웃 풀에서 채점한 결과, 3K 샘플 미세조정은 최고 오픈소스 VLM을 F1 0.98 이상으로 끌어올려 이 작업에서 모든 제로샷 상용 시스템을 넘어서게 한다—한편 GPT-5는 상용 풀에서 F1을 선도하고 Claude Sonnet 4.5는 Date에서 붕괴한다. 이 측정을 실행 가능한 선택으로 바꾸기 위해, 작업 프로필(품질, 지연 시간, 거버넌스, 처리량)을 필터링과 총비용 최소화를 통해 권장 접근에 매핑하는 실무자 지향 선택 프레임워크를 제안하며, 이를 가상의 중간 처리량 문서 추출 시나리오로 설명한다.