the3tc.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2603.12718v3cs.CV

COTe 점수: 문서 레이아웃 분석 모델 평가를 위한 분해 가능한 프레임워크

The COTe score: A decomposable framework for evaluating Document Layout Analysis models

문서 레이아웃 분석(Document Layout Analysis, DLA)은 종종 머신러닝 모델을 사용하여 페이지를 의미 있는 요소로 파싱하는 과정이다. 일반적으로 모델의 품질은 IoU, F1, mAP와 같은 일반적인 머신 비전 지표로 평가된다. 그러나 이러한 지표는 3차원 공간의 2차원 투영인 이미지를 위해 설계된 것으로, 인쇄 매체의 본질적으로 2차원인 영상에는 적합하지 않다. 이러한 불일치는 모델 성능에 대해 오해를 불러일으키거나 정보가 부족한 해석을 초래할 수 있다. 더 견고하고 비교 가능하며 세밀한 DLA를 장려하기 위해, 우리는 다음을 제안한다: 내용의 물리적 구조에서 의미적 구조로 초점을 옮기는 관계형 레이블링 접근법인 구조적 의미 단위(Structural Semantic Unit, SSU); 그리고 페이지 파싱 품질을 측정하는 분해 가능한 지표인 Coverage, Overlap, Trespass, Excess(COTe) 점수. 우리는 사례 연구와 3개의 DLA 데이터셋에서 5개의 일반적인 DLA 모델을 평가함으로써 이러한 방법의 가치를 보인다. COTe 점수가 기존 지표보다 더 많은 정보를 제공하며, 의미적 경계를 침범하거나 동일 영역을 반복적으로 파싱하는 등 모델별 뚜렷한 실패 모드를 드러냄을 보인다. 모델과 정답(ground truth) 간의 세분성(granularity) 차이가 있을 때, COTe 점수가 F1보다 훨씬 더 견고함을 확인한다. 최악의 경우에도, 그 외에는 완벽한 파싱을 가정하고 문자 수준 예측을 단락 수준 정답과 비교할 때, F1이 0을 반환하는 반면 COTe는 0.68을 반환한다. 특히, 실제 데이터셋에서는 명시적인 SSU 레이블링 없이도 COTe의 세분성 견고성이 대체로 유지되어 진입 장벽을 낮춘다는 점을 확인한다. 마지막으로, 우리는 SSU가 레이블링된 데이터셋과 DLA 프로젝트에서 COTe를 적용하기 위한 Python 라이브러리를 공개한다.