EVOL: 배포 환경 상호작용 없는 학습 경로 추천을 위한 시뮬레이터 유도 진화형 전문가 합성
EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation
학습 경로 추천(LPR)을 위한 강화학습(RL)은 서로 맞물린 두 가지 난제에 직면합니다. 첫째, 정책은 중간 피드백 없이 L개의 개념 시퀀스를 결정해야 하므로, L에 따라 초지수적으로 증가하며 최종 단계에서만 보상을 제공하는 조합 탐색 공간을 형성합니다. 둘째, 전문가 학습 경로는 희소 보상 강화학습의 자연스러운 해결책이 될 수 있지만, 학생 로그에는 학습자가 마땅히 했어야 할 행동이 아니라 실제로 수행한 행동만 기록되므로 교육 데이터에는 존재하지 않습니다. 본 연구는 로보틱스의 시뮬레이터 기반 데모 학습 기법을 도입하여 두 가지 난제를 모두 해결합니다. 지식 추적 시뮬레이터를 활용하여 진화적 탐색을 통해 학습자별 전문가 데모를 합성하고, 이러한 데모를 피드포워드 학습자로 증류(distillation)하는 배포 환경 상호작용 없는(deployment-free) 정책을 학습합니다. 본 프레임워크인 EVOL은 액터가 실제 배포 환경에 적합한 블라인드 플래닝을 수행하는 반면, 크리틱은 학습 중에 특권적인 시뮬레이터 상태를 활용하는 비대칭 액터-크리틱으로 이 파이프라인을 구현합니다. 3개 데이터셋(ASSIST15, Junyi, EdNet; 39~189개 개념)과 경로 길이 L = 5, 10, 20에 걸쳐, EVOL은 휴리스틱, 순차적 방식, 강화학습, 그래프 기반 강화학습, LLM 기반 방식을 아우르는 8개의 베이스라인을 능가합니다. 나아가 세 가지 모방 전략(BC, AWR, DAPG)을 비교하여, 최종 성능이 특정 모방 목적 함수보다는 진화적 전문가의 품질에 의해 결정됨을 보입니다.