학습 참여 보조 도구(LEA): 에이전트형 AI 튜터링 시스템의 교차 과목 확장성 및 교실 평가
Learning Engagement Assistant (LEA): Cross-Course Scalability and Classroom Evaluation of an Agentic AI Tutoring System
본 논문은 ICAART 2026 학회에서 발표된 논문의 확장판으로, 그 선행 연구는 LEA(Learning Engagement Assistant)를 소개했다. LEA는 통합된 Chat, Tutor, Quiz 모드 전반에 걸쳐 과목별 검색-증강 생성(RAG)과 구조화된 지식 구성 요소(KC) 모델을 결합한 적응형 AI 튜터링 에이전트이다. 해당 선행 연구는 합성 학습자 에이전트를 사용하여 시뮬레이션만으로 단일 STEM 과목(CMP511)에서 LEA를 검증했다. 본 논문은 실제 학생(n = 8, CMP511)을 대상으로 한 LEA의 최초 교실 배포와, 두 학술 수준과 두 학문 영역에 걸친 세 과목에 시스템을 배포하여 교차 과목 확장성에 대한 최초의 실증 검증 결과를 보고함으로써 그 연구를 확장한다. 이 연구는 모드 전반에서 시뮬레이션 예측과의 괴리를 드러내며, 합성 평가만으로는 실제 배포의 모든 측면을 예측할 수 없음을 보여준다. RAGAS 기반 교차 과목 확장성 평가(660개 질문) 결과, Answer Relevancy와 Context Precision은 과목 전반에서 대체로 안정적(각각 0.88-0.94, 0.88-0.90)인 반면, Faithfulness는 시스템의 원래 과목으로부터의 교육과정 거리가 멀어질수록 감소(0.69에서 0.50)하는 것으로 나타난다. 이는 확장성 한계라기보다 시스템의 원래 주제에 맞춰 조정된 생성 로직을 반영한 예비적 발견일 수 있다. 이러한 결과는 오케스트레이션 층은 수정이 필요 없지만, 모든 하류 구성 요소의 완전한 과목 비특이성은 추가 조사가 필요함을 시사한다.