운동학 그래프 읽기에서 멀티모달 대규모 언어 모델 채점 보조 도구의 스트레스 테스트
Stress Testing a Multimodal Large Language Model Grading Assistant on Kinematics Graph Reading
한국어 초록
멀티모달 대규모 언어 모델(MLLM)은 그래프의 특징을 알아보면서도 그래프의 근거가 충분하지 않은 답에 점수를 줄 수 있다. 이 탐색 연구는 운동학 문제 네 개의 합성 응답에 대해 일부 채점 결과를 살펴봤다. 그래프를 시각적으로 왜곡하거나 기준 그래프에 가까워지도록 단계적으로 변형해 합성 응답을 만들었다. 다양한 모델 및 프롬프트 구성을 사용했다. 일부 판정에서는 한순간 속도가 0인 상태와 일정 시간 동안 정지한 상태를 올바르게 구별하고 양의 곡률도 인식했다. 그러나 선이 끊기거나 갈라지고 속도 0의 기준도 불분명할 만큼 심하게 왜곡된 속도–시간 그래프가 만점을 받았다. 같은 설정에서 다른 답안은 큰 폭으로 감점됐다. 의미 있는 그래프 특징과 그리기 과정의 불규칙성을 구분하는 수치 임계값을 제시했으나, 눈금에 수치가 없는 그래프에서 좌표를 해석할 규칙은 없었다. 따라서 특정 점수의 부분 점수가 어떤 근거로 부여됐는지 설명하기 어려웠다. 스트레스 테스트는 교실에서 사용하기 전에 근거 없는 점수 부여를 드러낼 수 있다. 조사한 구성에서는 만점 답안을 포함해 교사가 채점을 검토한 뒤 최종 성적을 확정할 것을 권한다.
원문 초록
Multimodal large language models (MLLMs) can recognize graph features yet award credit without sufficient graphical support. This exploratory study examines selected grading outputs for synthetic responses to four kinematics exercises, generated through visual distortion and progressive transformation toward reference graphs. Different model and prompt configurations were used. Some judgments correctly distinguished instantaneous zero velocity from rest over a finite interval and recognized positive curvature. Yet a severely distorted velocity--time graph received full credit despite disconnected and branching traces and an unclear zero-velocity reference. Other submissions graded under the same configuration lost substantial credit. Numerical cutoffs intended to distinguish meaningful features from drawing irregularities were supplied without a coordinate convention for unnumbered graphs, leaving the basis of exact partial-credit awards unresolved. Stress testing can expose unsupported awards before classroom use. For the configurations examined, we do not recommend accepting scores as final grades without instructor review, including review of full-credit responses.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22726v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.