arXiv:2604.22774v3 cs.CY

VLM이 학생을 '고칠' 때: 여러 줄 손글씨 수학 OCR 평가에서 과잉 교정의 식별과 페널티 부여

When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR

Jin Seong, Wencke Liermann, Minho Kim, Jong-hun Shin, Soojong Lim

제출 2026-11-18

한국어 초록

손글씨 수학의 정확한 전사는 교육용 AI 시스템에 매우 중요하지만, 현재의 벤치마크는 이 능력을 제대로 평가하지 못한다. 대부분의 선행 연구는 한 줄 수식에 초점을 맞추고 BLEU와 같은 어휘 기반 지표에 의존하는데, 이는 여러 줄로 된 학생 풀이 전반의 의미적 추론을 평가하지 못한다. 본 논문에서는 여러 줄 손글씨 수학 광학 문자 인식(OCR)에 대한 최초의 체계적 연구를 제시하며, 비전-언어 모델(VLM)의 중대한 실패 양상인 과잉 교정을 밝힌다. 이러한 모델은 학생의 풀이를 충실히 전사하는 대신 오류를 자주 '고쳐서', 교육적 평가가 탐지하고자 하는 바로 그 실수를 가려 버린다. 이를 해결하기 위해 우리는 대규모 언어 모델(LLM)을 활용해 루브릭 기반 채점을 수행하고 과잉 교정에 명시적으로 페널티를 부여하는 의미 기반 평가 지표인 PINK(Penalized INK-based score)를 제안한다. FERMAT 데이터셋에서 15개의 최신 VLM을 종합 평가한 결과 BLEU와 비교해 순위가 크게 역전되었다. GPT-4o와 같은 모델은 적극적인 과잉 교정으로 인해 크게 감점되는 반면, Gemini 2.5 Flash는 가장 충실한 전사 모델로 나타난다. 나아가 인간 전문가 연구에서 PINK는 인간의 판단과 유의미하게 더 잘 일치하여(BLEU의 39.5%에 대해 55.0%의 선호), 교육 환경에서의 손글씨 수학 OCR에 대해 더 신뢰할 수 있는 평가 프레임워크를 제공한다. 코드는 https://github.com/9115jin/PINK 에서 이용할 수 있다.

원문 초록

Accurate transcription of handwritten mathematics is crucial for educational AI systems, yet current benchmarks fail to evaluate this capability properly. Most prior studies focus on single-line expressions and rely on lexical metrics such as BLEU, which fail to assess the semantic reasoning across multi-line student solutions. In this paper, we present the first systematic study of multi-line handwritten math Optical Character Recognition (OCR), revealing a critical failure mode of Vision-Language Models (VLMs): over-correction. Instead of faithfully transcribing a student's work, these models often "fix" errors, thereby hiding the very mistakes an educational assessment aims to detect. To address this, we propose PINK (Penalized INK-based score), a semantic evaluation metric that leverages a Large Language Model (LLM) for rubric-based grading and explicitly penalizes over-correction. Our comprehensive evaluation of 15 state-of-the-art VLMs on the FERMAT dataset reveals substantial ranking reversals compared to BLEU: models like GPT-4o are heavily penalized for aggressive over-correction, whereas Gemini 2.5 Flash emerges as the most faithful transcriber. Furthermore, human expert studies show that PINK aligns significantly better with human judgment (55.0% preference over BLEU's 39.5%), providing a more reliable evaluation framework for handwritten math OCR in educational settings. Code is available at https://github.com/9115jin/PINK.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.22774v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.