맹목적 순응을 넘어서: OCR 추론에서의 작업 검증 벤치마킹
Beyond Blind Compliance: Benchmarking Task Verification in OCR Reasoning
한국어 초록
멀티모달 대규모 언어 모델(MLLM)은 OCR 중심의 문서 이해 및 텍스트가 풍부한 시각적 추론 벤치마크(benchmark)에서 뛰어난 성능을 달성했습니다. 그러나 기존의 평가(evaluation)는 모든 작업이 유효하고 답변 가능하다는 가정을 크게 전제로 합니다. 실제 OCR 시나리오에서는 이러한 가정이 무너지는 경우가 많습니다. 즉, 질문이 판독 불가능한 텍스트, 가려진 증거, 존재하지 않는 시각적 대상, 모순되는 전제, 또는 누락된 변수에 의존할 수 있습니다. 본 연구에서는 이러한 신뢰성 격차(reliability gap)를 OCR 그라운딩(grounding) 기반 작업 검증(Task Verification) 관점에서 연구합니다. 즉, 모델(model)은 답변하기 전에 이미지 전제(IP), 텍스트 전제(TP), 질문(Q)이 실행 가능한 작업을 공동으로 정의하는지 여부를 판단해야 합니다. 이를 위해 8개의 OCR 관련 데이터셋(dataset)에서 추출되고 8개의 실제 이미지 도메인에 걸친 소스 이미지와 통제된 이미지 기반 진단 작업으로 구축된 1,800개 샘플 규모의 인간 검증 벤치마크인 VeriOCRBench를 소개합니다. 이 벤치마크는 시각적(Visual), 맥락적(Contextual), 사실적(Factual), 논리적(Logical)이라는 4가지 검증 차원과 8가지 함정 유형에 걸친 1,600개의 함정 주입 무효 작업에 더해, 과도한 거부(over-refusal)를 측정하기 위한 200개의 무함정 대조군을 포함합니다. 시각적 원자 사실(Visual Atomic Fact, VAF) 고정 파이프라인과 전수 인간 감사를 통해 구축된 VeriOCRBench는 작업 검증, 근본 원인 진단 및 과도한 거부에 대한 분리된 평가를 가능하게 합니다. 15개의 주요 MLLM을 평가한 결과, 지속적인 맹목적 순응, 진단 실패, 프롬프트(prompt)로 유발된 과도한 거부가 드러나며 현재 OCR 추론 시스템의 심각한 신뢰성 격차가 드러났습니다. 코드는 https://github.com/zy001122/Beyond-Blind-Compliance 에서 확인할 수 있습니다.
원문 초록
Multimodal Large Language Models (MLLMs) have achieved strong performance on OCR-centric document understanding and text-rich visual reasoning benchmarks. Yet existing evaluations largely assume that every task is valid and answerable. In real-world OCR scenarios, this assumption often fails: questions may rely on illegible text, occluded evidence, nonexistent visual targets, contradictory premises, or missing variables. We study this reliability gap as OCR-grounded Task Verification: before answering, a model should determine whether the Image Premise (IP), Textual Premise (TP), and Question (Q) jointly define an executable task. We introduce VeriOCRBench, a 1,800-sample human-verified benchmark built from source images drawn from 8 OCR-related datasets and spanning 8 real-world image domains, with controlled, image-grounded diagnostic tasks. It contains 1,600 trap-injected invalid tasks across 8 trap types and four verification dimensions---Visual, Contextual, Factual, and Logical---plus 200 trap-free controls for measuring over-refusal. Built with a Visual Atomic Fact (VAF)-anchored pipeline and full human auditing, VeriOCRBench enables decoupled evaluation of task verification, root-cause diagnosis, and over-refusal. Evaluating 15 leading MLLMs reveals persistent blind compliance, diagnosis failures, and prompt-induced over-refusal, exposing a critical reliability gap in current OCR reasoning systems. The code is available at: https://github.com/zy001122/Beyond-Blind-Compliance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00232v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.