DistilBERT 기반 자동 서술형 평가에서 구성 무관 노이즈로서의 인구통계 메타데이터
Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring
자동 서술형 평가(AES) 시스템은 채점 업무 부담 관리를 지원하고 대규모 평가에서 보조 평가자를 제공하기 위해 점점 더 많이 사용된다. 인간 채점은 학생의 인구통계적 특성에 자주 영향을 받지만, AES 모델 학습에 사용되는 텍스트 입력과 인구통계 메타데이터를 통합하는 다양한 전략의 효과는 아직 충분히 탐구되지 않았다. 본 연구는 다중모달 융합 전략 중 하나인 단순 메타데이터 연결(naive metadata concatenation)이 DistilBERT 기반 AES 모델의 예측 정확도, 학습 수렴, 점수 형평성에 미치는 영향을 조사한다. ASAP 2.0 데이터셋을 사용하여 기준선 모델과 토큰화된 텍스트와 인구통계 메타데이터를 단순 다중모달 융합 전략으로 연결하는 입력으로 학습된 실험 모델을 비교 분석했다. 10-fold 교차 검증으로 평가한 결과, 인구통계 메타데이터와 입력의 조기 융합(early fusion)이 모델의 전반적인 예측 정확도를 크게 저하시킨다는 것이 밝혀졌다. 기준선 모델은 이차 가중 카파(QWK) 0.727을 달성했으며, 메타데이터를 통합하면 0.656으로 하락했다. 또한 실험 모델은 기준선 모델(1.25)에 비해 더 높은 검증 손실(1.29)을 보였다. 실험 모델은 채점 바이어스도 악화되어, 19개 테스트 중 점수 형평성 사례가 15에서 12로 감소했다.