arXiv:2603.12718v3 cs.CV

COTe 점수: 문서 레이아웃 분석 모델 평가를 위한 분해 가능한 프레임워크

The COTe score: A decomposable framework for evaluating Document Layout Analysis models

Jonathan Bourne, Mwiza Simbeye, Ishtar Govia

제출 2026-03-13

저자 비고

arXiv Comments

10000 words, 5 Figures, 19 Tables,

한국어 초록

문서 레이아웃 분석(Document Layout Analysis, DLA)은 종종 머신러닝 모델을 사용하여 페이지를 의미 있는 요소로 파싱하는 과정이다. 일반적으로 모델의 품질은 IoU, F1, mAP와 같은 일반적인 머신 비전 지표로 평가된다. 그러나 이러한 지표는 3차원 공간의 2차원 투영인 이미지를 위해 설계된 것으로, 인쇄 매체의 본질적으로 2차원인 영상에는 적합하지 않다. 이러한 불일치는 모델 성능에 대해 오해를 불러일으키거나 정보가 부족한 해석을 초래할 수 있다. 더 견고하고 비교 가능하며 세밀한 DLA를 장려하기 위해, 우리는 다음을 제안한다: 내용의 물리적 구조에서 의미적 구조로 초점을 옮기는 관계형 레이블링 접근법인 구조적 의미 단위(Structural Semantic Unit, SSU); 그리고 페이지 파싱 품질을 측정하는 분해 가능한 지표인 Coverage, Overlap, Trespass, Excess(COTe) 점수. 우리는 사례 연구와 3개의 DLA 데이터셋에서 5개의 일반적인 DLA 모델을 평가함으로써 이러한 방법의 가치를 보인다. COTe 점수가 기존 지표보다 더 많은 정보를 제공하며, 의미적 경계를 침범하거나 동일 영역을 반복적으로 파싱하는 등 모델별 뚜렷한 실패 모드를 드러냄을 보인다. 모델과 정답(ground truth) 간의 세분성(granularity) 차이가 있을 때, COTe 점수가 F1보다 훨씬 더 견고함을 확인한다. 최악의 경우에도, 그 외에는 완벽한 파싱을 가정하고 문자 수준 예측을 단락 수준 정답과 비교할 때, F1이 0을 반환하는 반면 COTe는 0.68을 반환한다. 특히, 실제 데이터셋에서는 명시적인 SSU 레이블링 없이도 COTe의 세분성 견고성이 대체로 유지되어 진입 장벽을 낮춘다는 점을 확인한다. 마지막으로, 우리는 SSU가 레이블링된 데이터셋과 DLA 프로젝트에서 COTe를 적용하기 위한 Python 라이브러리를 공개한다.

원문 초록

Document Layout Analysis (DLA) is the process by which a page is parsed into meaningful elements, often using machine learning models. Typically, the quality of a model is judged using general machine vision metrics such as IoU, F1 or mAP. However, these metrics are designed for images that are 2D projections of 3D space, not for the natively 2D imagery of printed media. This discrepancy can result in misleading or uninformative interpretation of model performance. To encourage more robust, comparable, and nuanced DLA, we introduce: The Structural Semantic Unit (SSU), a relational labelling approach that shifts the focus from the physical to the semantic structure of the content; and the Coverage, Overlap, Trespass, and Excess (COTe) score, a decomposable metric for measuring page parsing quality. We demonstrate the value of these methods through case studies and by evaluating 5 common DLA models on 3 DLA datasets. We show that the COTe score is more informative than traditional metrics and reveals distinct failure modes across models, such as breaching semantic boundaries or repeatedly parsing the same region. We find that, under granularity differences between model and ground truth, the COTe score is substantially more robust than the F1. Even in the worst case, comparing character-level predictions against paragraph-level ground truth with otherwise perfect parsing, COTe returns 0.68 where F1 returns 0. Notably, we find that, on real datasets, the COTe's granularity robustness largely holds even without explicit SSU labelling, reducing the barrier to entry. Finally, we release an SSU labelled dataset and a Python library for applying COTe in DLA projects.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.12718v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.