PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27043v1cs.CL

EduBehaviors: 교육적 대화의 감사 가능한 코딩을 위한 단언(assertion) 기반 스키마

EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues

대규모 언어 모델(LLM)은 관심 구인(construct)에 해당하는 교육학적 주석의 신속한 배포를 가능하게 했으며, 대화형 데이터셋(dataset)에서 분류를 생성하기 위한 자연어 인터페이스를 제공한다. 그러나 LLM 추론의 불투명한 특성 때문에, 모델(model)이 발화에 대해 특정 레이블을 선택한 이유에 대한 검증 가능하고 기계적인(mechanistic) 통찰을 얻을 수 없다. 우리는 EduBehaviors 프레임워크를 제안한다. 이는 해석 가능하고 확장 가능한(scalable) 교육 데이터 주석 접근법으로, LLM을 사용해 많은 관심 구인과 관련된 반복적 관측 가능 행동(observable behaviors)을 측정한 뒤, 이러한 관측 가능 행동을 바탕으로 해당 구인에 대한 분류기(classifier)를 학습한다. TalkMoves 데이터셋에서 프레임워크를 평가하며 Teacher TalkMoves 레이블을 예측한다. 최적 구성은 macro-F1 0.673과 Cohen's kappa 0.688을 달성하여 직접 프롬프팅(direct prompting) 접근법과 경쟁력 있는 성능을 보였다. 또한 연구자가 자체 데이터에서 EduBehaviors 프레임워크를 운영적으로 구현할 수 있게 하는 두 가지 도구인 EduBehaviors Toolkit을 공개한다.

arXiv:2606.21557v1cs.CL

PeerMathDial: 학생 협력 수학 문제 해결을 위한 중학교 대화 데이터셋

PeerMathDial: A Middle School Dialogue Dataset for Student Collaborative Math Problem Solving

협력적 문제 해결(CPS)은 교육에서 핵심 역량이며, 동료 간 상호작용 과정이 매우 중요하다. 그러나 기존 교육 대화 데이터셋은 대부분 수업 또는 과외(즉, 교사/튜터-학생 상호작용)에 초점을 맞추고 있으며, 소집단 학생-학생 상호작용을 중심으로 한 데이터셋은 제한적이다. 따라서 실제 교육 환경에서 학생들이 어떻게 상호작용하고, 조율하며, 함께 문제를 해결하는지 연구할 수 있는 자원이 제한적이다. 이를 해결하기 위해 우리는 실제 중학교 수학 교실에서 수집한 동료 CPS 대화의 최초 데이터셋인 PeerMathDial을 소개한다. 이는 27명의 학생으로부터 55개의 대화를 포함하며, 총 6,406턴으로 구성된다. CPS 담화 분석 연구를 촉진하기 위해, 우리는 LLM의 지원을 받아 코퍼스 기반 대화 행위 분류체계를 추가로 구축한다. 데이터셋과 대화 행위 분류체계를 활용하여, 우리는 세 가지 사용 사례에서 PeerMathDial의 실용적 적용을 보여준다. 첫째, 대화가 시간에 따라 어떻게 변화하는지 추적하고 교사 개입의 영향을 측정한다. 둘째, 대화 행동을 학생 설문과 정렬하여 학생의 특성(예: 자신감, 리더십)과 실제 행동 간의 연관성을 밝힌다. 셋째, 대화 행위 예측에서 LLM을 평가함으로써 교육 응용에서 학생 시뮬레이션을 위한 LLM의 잠재력을 엿본다. 우리의 데이터셋과 소스 코드는 커뮤니티에 공개될 예정이다.

arXiv:2606.18372v1cs.CL

수정할 것인가 유지할 것인가? 교육 대화 비식별화를 위한 완전 로컬 AI 캐스케이드

Redact or Keep? A Fully Local AI Cascade for Educational Dialogue De-Identification

교육 대화 비식별화에서 커리큘럼 용어와 개인 식별 정보(PII)가 겹치는 모호성을, 재현율 우선 후보 제안과 주변 대화·발화자 역할을 반영한 Redact/Keep 이진 검토로 나누는 완전 로컬 캐스케이드 프레임워크를 제안한다. 두 플랫폼의 수학 과외 대본에서 최강 로컬 구성은 단일 노트북에서 매크로 F1 0.958을 달성해 동일 계열 LLM 전용 기준선(0.767)과 상용 API(0.706)를 상회했으며, 교육용-개인명 모호 챌린지 세트에서도 F1 저하가 0.03에 그쳤다.