arXiv:2607.27084v4 cs.CV

SciFigQual-Bench: 원고 연계 맥락을 활용한 과학 그림 품질 평가

SciFigQual-Bench: Scientific Figure Quality Assessment with Manuscript-Linked Context

Zihan Deng, Chuanzhi Xu, Huiqi Liang, Xiaozhen Zhong, Weidong Cai, Lequan Yu

제출 2026-07-29

한국어 초록

과학 그림의 품질은 원고와 결부되어 있다. 잘라낸 그림이 시각적으로 선명하더라도 그 캡션이나 이를 인용하는 문단과 모순될 수 있다. 대부분의 이미지 품질 평가 및 차트 이해 방법은 그림, 캡션, 인용 텍스트 간의 정합성이 아니라, 분리된 시각적 표면이나 질의응답 점수를 대상으로 한다. 이미지와 텍스트를 함께 보는 단일 종단간 프롬프트는 여전히 눈에 보이는 것과 캡션 및 인용 문단이 주장하는 것을 뒤섞기 때문에, 유창한 문구가 시각 점수를 높일 수 있고 텍스트가 없으면 낮은 품질로 취급될 수 있다. 이러한 간극을 해소하기 위해 본 논문은 SciFigQual-Bench를 제안한다. 이는 출판된 CS 학회 논문의 그림을 대상으로 하는 원고 연계 벤치마크로, 각 그림을 캡션 및 색인으로 확인된 인용 문단과 연결하고, 시각적 명료성, 레이아웃, 캡션 일관성, 맥락 일관성, 오해 유발 위험을 점수화하며, 근거가 없는 차원은 평가하지 않은 채로 둔다. SFQ-Agent는 이미지와 텍스트를 별도의 호출로 읽고 모달리티별 근거를 기록한다. 교차 모달 판정기는 이 보고서들로부터 캡션 및 인용 텍스트와의 정합성을 점수화하고, 결정론적 실행기는 시각 점수를 유지하며 고정된 규칙으로 오해 유발 위험을 정하고 명시된 상한을 적용하므로, 각 차원은 단일 종단간 프롬프트가 아니라 평가 기준을 따른다. 이 단계별 판정기를 단일 패스 및 OCR 보조 프로토콜과 비교한 실험에서, 단계별 판정 하에서 인간 평가 평균에 대한 점추정 적합도가 가장 가까웠으나 프로토콜 간 차이는 작게 유지되었다. 캡션 일관성은 여전히 주요한 격차로 남아 있으며, 평가자 평균과의 일치도는 인간 평가자 간 일치도와는 다른 질문에 답한다. 프로젝트 페이지: https://frankdengai.github.io/SciFigQual-Bench/

원문 초록

Scientific figure quality is bound to the manuscript: a crop can be visually clear and still contradict its caption or the paragraph that cites it. Most image quality assessment and chart-understanding methods target a detached visual surface or a question-answering score, rather than alignment among the figure, its caption, and the citing text. A single end-to-end prompt that sees the image and the text together still mixes what is visible with what the caption and the citing paragraph claim, so fluent wording can raise a visual score and missing text can be treated as low quality. To address this gap, we introduce SciFigQual-Bench, a manuscript-linked benchmark for published CS-conference figures that binds each figure to its caption and to index-resolved citing paragraphs, and scores visual clarity, layout, caption consistency, context consistency, and misleading risk, leaving a dimension unevaluated when its evidence is absent. SFQ-Agent reads the image and the text in separate calls and records modality-specific evidence. A cross-modal judge scores caption and citing-text alignment from those reports, and a deterministic runner keeps the visual scores, sets misleading risk by a fixed rule, and applies the written caps, so each dimension follows the rubric instead of a single end-to-end prompt. Experiments comparing this staged judge with single-pass and OCR-sidecar protocols find the closest point-estimate fit to mean human ratings under staged judging, while the gap between protocols remains small. Caption consistency remains the main gap, and agreement with the rater mean answers a different question from agreement among human raters. Project page: https://frankdengai.github.io/SciFigQual-Bench/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27084v4제출 시각 미확인
  2. arXiv:2607.27084v2제출 시각 미확인
  3. arXiv:2607.27084v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.