PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.17373v2cs.CL

SafeTutors: AI 튜터링 시스템의 교육학적 안전성 벤치마킹

SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems

대규모 언어 모델(LLM)이 AI 튜터로 빠르게 도입되고 있으나, 기존의 평가 패러다임은 문제 해결 정확도와 일반적인 안전성(safety)을 분리하여 평가하므로 학생과 튜터 간의 상호작용 전반에서 모델이 교육학적으로 효과적인 동시에 안전한지를 포착하지 못합니다. 본 연구는 튜터링의 안전성이 기존 LLM 안전성과 근본적으로 다르다고 주장합니다. 즉, 주된 위험은 유해한 콘텐츠가 아니라 정답 과잉 공개, 오개념 강화, 비계(scaffolding) 설정의 포기를 통한 학습의 조용한 훼손입니다. 이러한 실패 모드를 체계적으로 연구하기 위해, 본 논문에서는 수학, 물리학, 화학 전반에 걸쳐 안전성과 교육학적 유효성을 공동으로 평가하는 벤치마크인 SafeTutors를 소개합니다. SafeTutors는 학습과학 문헌에서 도출된 11개의 유해 차원과 48개의 하위 위험으로 구성된 이론적 기반의 위험 분류 체계를 중심으로 구성됩니다. 연구 결과 모든 모델에서 광범위한 유해가 나타나며, 스케일링(scaling)이 안정적인 해결책이 되지 못하고, 다중 턴(multi-turn) 대화가 동작을 악화시켜 교육학적 실패율이 17.7%에서 77.8%로 증가함을 발견했습니다. 또한 유해성은 과목별로 다르므로 완화책은 학문 분야를 고려해야 하며, 단일 턴에서의 "안전함/도움됨" 결과는 장기적인 상호작용에서 발생하는 체계적인 튜터 실패를 은폐할 수 있습니다.