PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27749v1cs.AI

신규 AI 지원 교육 문항의 교육학적 평가를 위한 사전학습 모델 평가

Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

AI 지원 교육 자료 생성의 급증은 교육학적 품질을 검증할 역량을 앞질러 왔다. Bloom Classifier 모델을 이용한 자동 평가는 교육 자료를 대규모로 평가하는 유망한 접근이다. 이러한 모델은 분포 내(in-distribution) 데이터셋(IID 데이터셋)에서 높은 정확도를 보인다. 그러나 동일한 모델을 AI 지원 생성 문항과 같은 새로운 분포 외(out-of-distribution, OOD) 데이터셋에 적용하면 성능 저하가 나타날 수 있다. 데이터셋 이동(dataset shift) 하에서 견고한 분류기를 찾기 위해 Bloom 수준 분류 과제에 대해 전통적 머신러닝(ML), 트랜스포머, 대규모 언어 모델(LLM)을 평가했다. 또한 NLP 지표를 포함한 특징 공학(feature-engineering) 전략, 입력의 일부로 학습 목표를 덧붙이는 방법, OOD 성능을 안정화하기 위한 텍스트 스플라이싱(text splicing)을 탐구했다. 기준선 테스트는 TFPOS-IDF ML 모델이 OOD에서 BERT(0.55) 및 LLM(0.79)에 비해 낮은 성능(Macro F1-score 0.48)을 보임을 나타낸다. 텍스트 스플라이싱은 ML 및 BERT 모델의 macro F1-score 성능을 각각 0.59와 0.62로 향상시켰다. 입력에 학습 목표를 덧붙이는 것은 특정 데이터셋에서 모델 성능을 높였다. 모델 재학습은 모델과 데이터셋 전반에서 가장 큰 개선을 제공했다. 전반적으로 이러한 결과는 신규 AI 지원 교육 문항에 사전학습 모델을 사용할 때의 트레이드오프와, 전략적 특징 강화가 성능 저하를 완화하는 데 어떻게 기여하는지를 부각한다.