그림이 본문과 어긋날 때: 과학 논문에서 자율적 시각 증거 검증의 평가
When Figures Disagree with Text: Evaluating Autonomous Visual Evidence Verification in Scientific Papers
한국어 초록
과학 그림은 이를 인용하는 주장의 증거를 담고 있으므로, 논문을 검토한다는 것은 그림이 보여 주는 바를 기술하는 데 그치지 않고 그림이 본문과 일치하는지 확인하는 것을 의미한다. 그림–본문 검증 벤치마크는 대개 모델에 그림, 주장, 또는 불일치가 존재한다는 지식을 제공하므로, 모델이 완전한 논문에서 확인할 가치가 있는 그림을 찾고, 시각 요소를 그것과 충돌하는 주장에 연결하며, 그 충돌을 인식할 수 있는지는 검증되지 않은 채로 남는다. 본 연구는 PRISMM-Bench에서 가져온, 검토자가 문서화한 그림–본문 불일치를 각각 담고 있으며 모델에는 숨겨진 31편의 전체 원고에서 이러한 자율적 설정을 연구한다. 여섯 개의 멀티모달 모델이 중립적 프롬프트 아래 각 PDF를 검토하고, 이후 동일한 원고에 입력을 한 번에 하나씩 추가한다. 1,445개의 개방형 검토 중 60.6%가 결함 있는 그림을 언급하지만, 평가 기준표가 그 모순을 진단한 것으로 인정하는 것은 3.3%에 불과하다. 블라인드 감사 결과 기준표가 관대한 것으로 나타나므로, 이를 절대값이 아닌 기준표 인정률로 해석하고 조건 간 비교를 수행한다. 별도의 통제 실험에서, 그림이 결함이 있다고 말하지 않고 그림을 지목하는 것만으로 기준표 인정 진단이 4.3%에서 20.4%로 상승하는 반면, 일관성 지시와 대략적인 시각 단서는 그렇지 않다. 모순이 렌더링된 그림에서만 보이는 경우 텍스트만 사용한 검토는 인정된 진단을 전혀 내지 못하지만, 그림을 지목한 렌더링 페이지 검토는 15.8%에 도달한다. 모델이 중심성 순으로 확인할 그림을 직접 고르게 하는 베이스라인은 4.8%에 머문다. 따라서 무엇을 검증할지 결정하는 것이 어려움의 큰 부분이며, 우리가 시험한 선택 규칙은 이를 해결하지 못한다. 멀티모달 문서 이해는 주어진 그림에 대한 질문에 답하는 것뿐 아니라 무엇을 검증할지 제안할 수 있는지로도 평가되어야 한다.
원문 초록
Scientific figures carry evidence for the claims that cite them, so reviewing a paper means checking that a figure agrees with the text, and not only describing what the figure shows. Benchmarks of figure-text verification typically hand the model the figure, the claim, or the knowledge that an inconsistency exists, which leaves untested whether a model can find the figure worth checking in a complete paper, relate a visual element to the claim it conflicts with, and recognize the conflict. We study this autonomous setting on 31 full manuscripts, each carrying a reviewer-documented figure-text inconsistency from PRISMM-Bench that is hidden from the model. Six multimodal models review each PDF under a neutral prompt, and we then add one input at a time to the same manuscripts. Of 1,445 open-ended reviews, 60.6% mention the flawed figure, yet a grading rubric accepts only 3.3% as diagnosing its contradiction; a blind audit finds the rubric lenient, so we read these as rubric-accepted rates and compare conditions rather than absolute values. In a separate controlled run, naming the figure, without stating that it is flawed, raises rubric-accepted diagnosis from 4.3% to 20.4%, while a consistency instruction and coarse visual cues do not. When the contradiction is visible only in the rendered figure, text-only review yields no accepted diagnosis, while review of the rendered pages with the figure named reaches 15.8%. A baseline that lets the model choose which figures to check, ranked by centrality, stays at 4.8%. Deciding what to verify is thus a large part of the difficulty, and the selection rule we tested does not resolve it. Multimodal document understanding should be evaluated on whether a model can propose what to verify, not only answer questions about a figure it is handed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24353v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.