EduBehaviors: 교육적 대화의 감사 가능한 코딩을 위한 단언(assertion) 기반 스키마
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues
대규모 언어 모델(LLM)은 관심 구인(construct)에 해당하는 교육학적 주석의 신속한 배포를 가능하게 했으며, 대화형 데이터셋(dataset)에서 분류를 생성하기 위한 자연어 인터페이스를 제공한다. 그러나 LLM 추론의 불투명한 특성 때문에, 모델(model)이 발화에 대해 특정 레이블을 선택한 이유에 대한 검증 가능하고 기계적인(mechanistic) 통찰을 얻을 수 없다. 우리는 EduBehaviors 프레임워크를 제안한다. 이는 해석 가능하고 확장 가능한(scalable) 교육 데이터 주석 접근법으로, LLM을 사용해 많은 관심 구인과 관련된 반복적 관측 가능 행동(observable behaviors)을 측정한 뒤, 이러한 관측 가능 행동을 바탕으로 해당 구인에 대한 분류기(classifier)를 학습한다. TalkMoves 데이터셋에서 프레임워크를 평가하며 Teacher TalkMoves 레이블을 예측한다. 최적 구성은 macro-F1 0.673과 Cohen's kappa 0.688을 달성하여 직접 프롬프팅(direct prompting) 접근법과 경쟁력 있는 성능을 보였다. 또한 연구자가 자체 데이터에서 EduBehaviors 프레임워크를 운영적으로 구현할 수 있게 하는 두 가지 도구인 EduBehaviors Toolkit을 공개한다.