VeriMath: 교육과정에 부합하는 수학 평가 문항의 인간 참여형 생성 및 검증
VeriMath: Human-in-the-Loop Generation and Verification of Curriculum-Aligned Mathematics Assessment Items
한국어 초록
수학 평가 문항의 자동 생성은 교육용 인공지능에서 성장하는 분야이지만, 실제 교실에 적용하는 데에는 여전히 어려움이 있다. 생성된 문항은 수학적 정확성, 교육과정 부합성, 적절한 인지적 난이도, 교육자의 검토 가능성이라는 여러 제약을 충족해야 한다. 기존 연구는 텍스트 생성을 발전시켰으나, 신뢰할 수 있는 평가 문항 출제에는 현지화된 시험 형식에 대한 세밀한 제어와 전문적인 교육적 판단이 필요하다. 이 문제를 해결하기 위해 우리는 엄밀하고 교육과정에 제약된 수학 평가 초안을 생성하는 일반화된 인간 참여형 프레임워크 VeriMath를 제시한다. 이 프레임워크는 주석이 달린 참조 문항을 사용하여 요청된 시험 영역과 인지적 추론 수준에 생성을 고정한 뒤, 전문가 검토에 초안을 제출하기 전에 순차적인 자동 검증과 안내된 수리를 적용한다. 우리는 베트남 12학년 교육과정의 수학 문항 4,555개와 객관식, 참/거짓, 단답형 형식을 아우르는 50개의 서로 다른 생성 요구사항을 사용한 국가 교육과정 사례 연구를 통해 VeriMath를 평가한다. 두 가지 모델 백본에 걸쳐 이 프레임워크는 실행당 요구사항의 94%(47/50)에 대해 검증기를 통과한 초안을 생성한다. 블라인드 전문가 평가는 높은 수학적 정확성과 교육과정 부합성을 확인하며, 엄격한 교사 활용 준비도 평가에서는 생성된 문항의 최대 56.8%가 수용되었다. 거부된 초안의 분석은 형식, 진술의 타당성, 풀이 단계의 완결성과 관련된 영역 비의존적 과제가 지속됨을 보여준다. 이러한 결과는 VeriMath가 엄격하게 제약된 국가 교육과정 틀 안에서 검토 가능성이 높은 평가 초안을 생성함으로써 생성형 AI와 신뢰할 수 있는 교육 응용을 연결할 수 있음을 보여준다.
원문 초록
Automatic generation of mathematics assessment items is a growing area in educational artificial intelligence, yet classroom deployment remains challenging. Generated questions must satisfy multiple constraints: mathematical correctness, curriculum alignment, appropriate cognitive difficulty, and educator reviewability. While prior work has advanced text generation, reliable assessment authoring requires granular control over localized examination formats and expert educational judgment. To address this challenge, we present VeriMath, a generalized, human-in-the-loop framework for generating rigorous, curriculum-constrained mathematics assessment drafts. Using annotated reference items, the framework anchors generation to the requested examination section and cognitive reasoning level, then applies sequential automated verification and guided repair before submitting drafts for expert review. We evaluate VeriMath through a national curriculum case study using 4,555 mathematics items from the Vietnamese Grade 12 curriculum and 50 distinct generation requirements covering multiple-choice, true/false, and short-answer formats. Across two model backbones, the framework produces verifier-accepted drafts for 94% (47/50) of requirements per run. Blind expert evaluations confirm high mathematical accuracy and curriculum alignment, with strict teacher-readiness assessments accepting up to 56.8% of generated items. Analysis of rejected drafts reveals persistent domain-agnostic challenges involving formatting, statement validity, and solution-step completeness. These findings demonstrate that VeriMath can bridge generative AI and dependable educational applications by producing highly reviewable assessment drafts within tightly constrained national curriculum frameworks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23456v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.