PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.17373v2cs.CL

SafeTutors: AI 튜터링 시스템의 교육학적 안전성 벤치마킹

SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems

대규모 언어 모델(LLM)이 AI 튜터로 빠르게 도입되고 있으나, 기존의 평가 패러다임은 문제 해결 정확도와 일반적인 안전성(safety)을 분리하여 평가하므로 학생과 튜터 간의 상호작용 전반에서 모델이 교육학적으로 효과적인 동시에 안전한지를 포착하지 못합니다. 본 연구는 튜터링의 안전성이 기존 LLM 안전성과 근본적으로 다르다고 주장합니다. 즉, 주된 위험은 유해한 콘텐츠가 아니라 정답 과잉 공개, 오개념 강화, 비계(scaffolding) 설정의 포기를 통한 학습의 조용한 훼손입니다. 이러한 실패 모드를 체계적으로 연구하기 위해, 본 논문에서는 수학, 물리학, 화학 전반에 걸쳐 안전성과 교육학적 유효성을 공동으로 평가하는 벤치마크인 SafeTutors를 소개합니다. SafeTutors는 학습과학 문헌에서 도출된 11개의 유해 차원과 48개의 하위 위험으로 구성된 이론적 기반의 위험 분류 체계를 중심으로 구성됩니다. 연구 결과 모든 모델에서 광범위한 유해가 나타나며, 스케일링(scaling)이 안정적인 해결책이 되지 못하고, 다중 턴(multi-turn) 대화가 동작을 악화시켜 교육학적 실패율이 17.7%에서 77.8%로 증가함을 발견했습니다. 또한 유해성은 과목별로 다르므로 완화책은 학문 분야를 고려해야 하며, 단일 턴에서의 "안전함/도움됨" 결과는 장기적인 상호작용에서 발생하는 체계적인 튜터 실패를 은폐할 수 있습니다.

arXiv:2609.28470v1cs.AI

StudentBench: AI와 인간 튜터링이 가져오는 동등한 GRE 학습 효과

StudentBench: AI and human tutoring yield equivalent GRE learning gains

인공지능은 인간의 역량을 강화할 수 있는 전례 없는 기회를 제공하지만, 최전선의 발전은 주로 모델 역량을 향상하는 데 집중되어 왔습니다. 본 연구에서는 대규모 언어 모델(LLM)이 인간 튜터링과 동등한 학습 효과를 내는지 연구하기 위해, 175,000건 이상의 학생-AI 메시지를 포함하는 대규모 데이터 수집이 가능한 공개 플랫폼이자 AI 교수법 평가 묶음인 StudentBench를 소개합니다. StudentBench를 사용하여 AI 튜터링, 인간 튜터링, 또는 튜터링을 받지 않은 2,383명의 인간 참가자를 대상으로 GRE 양적 추론(Quantitative) 및 언어 추론(Verbal) 문제에 대한 학습 효과를 측정했습니다. 그 결과, GRE 학습 효과 면에서 AI 튜터링이 전문 인간 튜터링과 통계적으로 동등함을 확인했으며(p = .015), 7개 GRE 영역 중 5개 영역에서 최고 성능의 AI 튜터가 평균적으로 인간 튜터를 능가했습니다. 두 번째 연구에서는 인간 전문 튜터가 2,028회의 쌍별 루브릭 평가를 통해 LLM이 생성한 수업 계획과 연습 문제를 비교했습니다. 두 연구를 종합하여 AI 튜터를 (1) 수업 계획 수립, (2) 연습 문제 제작, (3) 대화형 교수법, (4) 비용, (5) 참여도의 측면에서 명확히 구분했습니다. 놀랍게도, 한 AI 튜터는 인간 튜터링과 동등한 학습 효과를 달성하면서도(p = .044), 비용은 918배 낮았습니다(상승한 백분율 포인트당 인간은 4.81달러인 데 비해 AI는 0.0052달러). GRE 양적 추론 세션의 경우, AI의 빠른 응답은 더 많은 학생 메시지와 상관관계가 있었고, 더 많은 메시지는 더 많은 정답 연습으로, 더 많은 정답 연습은 더 큰 학습 효과로 이어졌습니다(모두 p < .002). StudentBench 플랫폼은 https://studentbench.org 에서 무료로 이용할 수 있습니다.

arXiv:2604.27618v2cs.AI

생성형 AI(GenAI) 학습 조사를 위한 수학 교육 디지털 섀도: 대규모 언어 모델의 수학 성과, 불안 및 자신감

Math Education Digital Shadows for Investigating Learning with GenAI: Mathematics Performance, Anxiety, and Confidence in LLMs

대규모 언어 모델(LLM)이 수학 교육에 미치는 영향을 이해하려면 LLM의 수학적 성과와 편향에 관한 데이터가 필요하다. 이를 위해, 인간형 및 AI형 의인화 조건에서 LLM이 수학에 대해 어떻게 추론하는지를 매핑한 데이터셋인 Math Education Digital Shadows(MEDS)를 소개한다. MEDS는 human-shadow 및 AI-assistant 조건에서 생성된 14개 LLM(Mistral, Qwen, DeepSeek, IBM Granite, Microsoft Phi, xAI Grok 등)의 28,000회 실행으로 구성된다. 각 기록(디지털 섀도)에는 프롬프트 세트, 심리적 및 사회인구학적 메타데이터, 그리고 네 가지 수학 과제가 포함된다: (i) 수학과의 관계에 대한 인터뷰, (ii) 수학 자기효능감 및 불안에 대한 세 가지 심리측정 설문, (iii) 수학에 대한 태도를 포착하는 하나의 인지 네트워크, (iv) 추론 설명과 자신감 점수가 보강된 18개 고등학교 수학 퀴즈 문항. 데이터 분석 결과, LLM은 human-shadow 및 AI-assistant 모드 간 태도와 성과의 차이를 보이며, 여기에는 수학에 대한 인간과 유사한 부정적 태도, 논리적 오류, 수학에 대한 과잉 자신감이 포함된다. 데이터 리소스로서 MEDS는 학습 과학자와 더 안전한 수학 AI 튜터 개발자에게 도움이 될 수 있다.

arXiv:2607.13370v1cs.CY

학습 참여 보조 도구(LEA): 에이전트형 AI 튜터링 시스템의 교차 과목 확장성 및 교실 평가

Learning Engagement Assistant (LEA): Cross-Course Scalability and Classroom Evaluation of an Agentic AI Tutoring System

본 논문은 ICAART 2026 학회에서 발표된 논문의 확장판으로, 그 선행 연구는 LEA(Learning Engagement Assistant)를 소개했다. LEA는 통합된 Chat, Tutor, Quiz 모드 전반에 걸쳐 과목별 검색-증강 생성(RAG)과 구조화된 지식 구성 요소(KC) 모델을 결합한 적응형 AI 튜터링 에이전트이다. 해당 선행 연구는 합성 학습자 에이전트를 사용하여 시뮬레이션만으로 단일 STEM 과목(CMP511)에서 LEA를 검증했다. 본 논문은 실제 학생(n = 8, CMP511)을 대상으로 한 LEA의 최초 교실 배포와, 두 학술 수준과 두 학문 영역에 걸친 세 과목에 시스템을 배포하여 교차 과목 확장성에 대한 최초의 실증 검증 결과를 보고함으로써 그 연구를 확장한다. 이 연구는 모드 전반에서 시뮬레이션 예측과의 괴리를 드러내며, 합성 평가만으로는 실제 배포의 모든 측면을 예측할 수 없음을 보여준다. RAGAS 기반 교차 과목 확장성 평가(660개 질문) 결과, Answer Relevancy와 Context Precision은 과목 전반에서 대체로 안정적(각각 0.88-0.94, 0.88-0.90)인 반면, Faithfulness는 시스템의 원래 과목으로부터의 교육과정 거리가 멀어질수록 감소(0.69에서 0.50)하는 것으로 나타난다. 이는 확장성 한계라기보다 시스템의 원래 주제에 맞춰 조정된 생성 로직을 반영한 예비적 발견일 수 있다. 이러한 결과는 오케스트레이션 층은 수정이 필요 없지만, 모든 하류 구성 요소의 완전한 과목 비특이성은 추가 조사가 필요함을 시사한다.

arXiv:2607.05571v1cs.AI

CSTutorBench: 블록 기반 프로그래밍 튜터로서의 소형 언어 모델 벤치마킹

CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming

K-12 환경에서 개인정보 보호와 비용 문제로 소형 언어 모델(SLM)이 주목받는 가운데, VEX VR 블록 기반 로봇 프로그래밍 환경에서 언어 모델의 CS 튜터링 능력을 평가하는 CSTutorBench를 소개한다. 4B~120B 파라미터 규모의 11개 모델 평가 결과, 어휘·어조 같은 표면적 기준에서는 양호한 성능을 보이나 답 유출 방지 및 학생의 디버깅 이력 반영 등 심층적 교육학적 행동에서는 취약했으며, 교육 프롬프트 엔지니어링 기반의 프롬프트 수정이 11개 중 10개 모델의 점수를 향상시켰다.

arXiv:2606.20713v1cs.AI

FairTutor: 예산 제약 AI 튜터링을 위한 형평성 인식 교육학적 LLM 라우팅

FairTutor: Equity-Aware Pedagogical LLM Routing for Budget-Constrained AI Tutoring

생성형 AI 튜터는 실시간 맞춤형 학습 지원을 제공하지만, 새로운 교육 불평등을 만들기도 한다. 프리미엄 AI 서비스에 접근할 수 있는 학생들은 무료 또는 저비용 서비스에 국한된 학생들보다 더 명확한 설명, 더 개인화된 안내, 더 나은 비계(scaffolding)를 받을 수 있다. 이 문제에 대응하기 위해, 우리는 형평성 인식 모델 라우팅 프레임워크인 FairTutor를 제안하며, 이는 교육학적 동기를 갖춘 다중 에이전트 오케스트레이션을 통해 비용 효율적인 AI 튜터링을 달성한다. FairTutor는 쿼리 분석, 교육학적 계획, 저비용 모델 생성, 평가자 가이드 비판 및 수정, 프리미엄 AI 모델로의 선택적 에스컬레이션을 결합한다. 우리는 프리미엄 접근과 예산 제약 튜터링 간의 품질 차이를 측정하는 접근 등급 AI 교육(AIED) 이점 격차(Advantage Gap)와, 수학, 읽기, 쓰기, 과학, 언어 학습에 걸친 벤치마크인 TutorAccessEval을 도입한다. 실증 평가에 따르면 FairTutor는 프리미엄 교육학적 품질의 97.1%(하한 조정 Likert 척도)를 달성하면서 서빙 비용을 71.6% 절감한다. 민감도 분석은 조정 가능한 비용-품질 파레토 프론티어를 보여주며, 이를 통해 FairTutor를 다양한 학생 집단의 요구에 맞게 맞춤 설정할 수 있다.