LLM의 매개변수적 지식에 대한 현재의 분석은 대체로 출력 중심적이어서, 모델이 실제로 무엇을 학습했는지 검증하지 않은 채 모델이 무엇을 아는지에 대한 결론을 도출한다. 이 때문에 올바른 응답이 진정한 일반화를 반영하는지 단순 암기를 반영하는지와 같은 근본적인 질문이 증거가 아닌 추측에 기반하게 된다. 이러한 모호성을 해소하기 위해 우리는 학습 데이터가 완전히 공개된 OLMo 2를 활용하여, 학습 데이터 노출, 내부 표현, 행동 출력에 걸쳐 지식을 추적하는 진단 프레임워크 LUMOS를 소개한다. 검증된 노출에 근거해 분석한 결과, 모델은 드문 사실을 높은 분리도(84%)로 내부에 인코딩하지만 행동으로는 이를 표현하지 못하며(54%), 이러한 인출 격차는 규모가 커질수록 줄어든다. 또한 모델에게 자신의 답변을 스스로 성찰하도록 요청하면, 학습된 내용에서는 안정적으로 수행하지만(83%) 보지 못한 내용에서는 무작위 기준선 수준(49%)으로 떨어진다. 이러한 붕괴는 보정을 개선하지 않고 확신 신호만 부풀리는 사고 연쇄(chain-of-thought) 프롬프팅 하에서도 지속된다. 종합하면, 이러한 결과는 LLM 평가에 학습 데이터 축을 포함하면 추측에 의한 진단이 검증 가능한 주장으로 바뀜을 보여 주며, 우리는 이 축이 LLM 지식 평가의 표준 구성 요소가 되어야 한다고 주장한다.
학습 경로 추천(LPR)을 위한 강화학습(RL)은 서로 맞물린 두 가지 난제에 직면합니다. 첫째, 정책은 중간 피드백 없이 L개의 개념 시퀀스를 결정해야 하므로, L에 따라 초지수적으로 증가하며 최종 단계에서만 보상을 제공하는 조합 탐색 공간을 형성합니다. 둘째, 전문가 학습 경로는 희소 보상 강화학습의 자연스러운 해결책이 될 수 있지만, 학생 로그에는 학습자가 마땅히 했어야 할 행동이 아니라 실제로 수행한 행동만 기록되므로 교육 데이터에는 존재하지 않습니다. 본 연구는 로보틱스의 시뮬레이터 기반 데모 학습 기법을 도입하여 두 가지 난제를 모두 해결합니다. 지식 추적 시뮬레이터를 활용하여 진화적 탐색을 통해 학습자별 전문가 데모를 합성하고, 이러한 데모를 피드포워드 학습자로 증류(distillation)하는 배포 환경 상호작용 없는(deployment-free) 정책을 학습합니다. 본 프레임워크인 EVOL은 액터가 실제 배포 환경에 적합한 블라인드 플래닝을 수행하는 반면, 크리틱은 학습 중에 특권적인 시뮬레이터 상태를 활용하는 비대칭 액터-크리틱으로 이 파이프라인을 구현합니다. 3개 데이터셋(ASSIST15, Junyi, EdNet; 39~189개 개념)과 경로 길이 L = 5, 10, 20에 걸쳐, EVOL은 휴리스틱, 순차적 방식, 강화학습, 그래프 기반 강화학습, LLM 기반 방식을 아우르는 8개의 베이스라인을 능가합니다. 나아가 세 가지 모방 전략(BC, AWR, DAPG)을 비교하여, 최종 성능이 특정 모방 목적 함수보다는 진화적 전문가의 품질에 의해 결정됨을 보입니다.
지식 추적(KT)은 과거 상호작용으로부터 변화하는 학생의 지식 상태를 모델링하여 향후 수행을 예측하는 것을 목표로 한다. 기존 KT 방법들은 보통 원시 상호작용 시퀀스를 하나의 통합된 행동 과정으로 취급하여 학습 행동의 단계별 특성을 간과한다. 우리의 예비 관찰에 따르면 학생들은 충분한 연습 후 이전에 실패했던 지식 개념을 더 정확하게 답할 가능성이 높아지며, 이는 능력 구축에서 숙련도 중심 학습으로의 전환을 시사한다. 이에 영감을 받아, 우리는 맞춤형 분해 메커니즘을 바탕으로 학생 상호작용을 능력 단계와 숙련도 단계로 분해하는 KT 프레임워크인 Phase-Aware Knowledge Tracing(PAKT)를 제안한다. 분해된 시퀀스를 효과적으로 활용하기 위해, 단계별 및 전체적 지식 상태를 공동으로 포착하기 위해 유형 인식 readout 모듈을 갖춘 다중 분기 트랜스포머를 설계한다. 또한 단계 무관 KT 모델에서 복잡한 학습 행동을 얽히게 함으로써 발생하는 교란 바이어스를 밝히기 위한 인과 분석을 제공한다. 6개의 공개 벤치마크에 대한 광범위한 실험 결과, 우리의 방법이 대표적인 베이스라인을 일관되게 능가하며, 최대 AUC 향상은 1.33%, 평균 향상은 0.82%이다.
9-1-1 신고 접수 교육은 다양한 사건 유형과 프로토콜별 세부 사항을 아우르는 천 가지 이상의 상호의존적 기술의 숙달을 요구합니다. 전국적인 인력 부족은 이미 교육 역량에 부담을 주고 있지만, 효과적인 교수를 위해서는 여전히 교관이 각 교육생의 변화하는 역량에 맞춰 목표를 조정해야 합니다. 이러한 개인화 부담은 현재의 방식으로는 확장이 불가능합니다. 메트로 내슈빌 비상 통신국(MNDEC)과의 협력을 통해, 우리는 PACE(Personalized Adaptive Curriculum Engine)를 제안합니다. PACE는 (1) 교육생의 기술 상태에 대한 확률적 신념 유지, (2) 개인별 학습 및 망각 역학 모델링, (3) 새로운 역량 습득과 기존 역량 유지의 균형을 맞추는 훈련 시나리오 추천을 통해 교관의 의사결정을 보조하는 코파일럿 시스템입니다. PACE는 구조화된 기술 그래프에 걸쳐 증거를 전파하여 진단 커버리지를 가속화하고, 컨텍스트 밴딧(contextual bandits)을 적용하여 교육생이 해결할 준비가 된 격차를 목표로 하는 시나리오를 선택합니다. 실험 결과, PACE는 최신 프레임워크 대비 역량 달성 시간을 19.50% 단축하고 최종 숙달도를 10.95% 향상시키는 것으로 나타났습니다. 현직 교육 담당관과의 코파일럿 연구에서는 실제 사례에 대한 PACE와 전문가의 교육학적 판단 간 95.45%의 일치율을 추가로 입증했습니다. 추정 측면에서 PACE는 처리 소요 시간을 11.58분에서 단 34초로 단축하여 최대 95.08%의 감소를 달성합니다.
지식 추적(Knowledge Tracing, KT)은 개인화 교육에 있어 중요하지만, 전통적으로 두 가지 핵심적인 한계를 지니고 있다: 의미적 깊이를 무시하는 얕은 ID 기반 표현에 대한 의존성과, 계층적 지식 의존성을 간과하는 단일 세분성 숙달도 추정에 대한 제약이 그것이다. 이러한 문제를 해결하기 위해, 우리는 순차 모델링과 대규모 언어 모델(LLM) 기반 의미 정렬을 오케스트레이션하는 새로운 프레임워크인 MOSAIC(Multi-granularity Online Semantic AI for Collaborative Knowledge)을 제안한다. LLM을 단순히 예측기로만 활용하는 방법들과 달리, MOSAIC은 동결된 LLM을 활용하여 동적이고 맥락 인식적인 임베딩과 계층적 예측 프롬프트를 생성함으로써 협력 신호와 동료 간 상호작용을 명시적으로 포착한다. 나아가, 개념, 주제 클러스터, 전체 숙련도 수준에 걸쳐 숙달도 추정을 공동으로 정규화하는 교차 세분성 일관성 목적 함수를 도입한다. ASSISTments, EdNet, 그리고 새롭게 수집한 대규모 MOOC 데이터셋에 대한 광범위한 실험을 통해 MOSAIC이 새로운 최고 성능(state-of-the-art)을 달성함을 입증한다. 구체적으로, 우리의 방법은 모든 벤치마크에 걸쳐 AUC 최대 3.4%, 정확도 최대 2.5% 향상을 달성한다. 특히 MOSAIC은 협력이 풍부한 환경과 장시퀀스 시나리오에서 우수한 견고성을 보이며(MOOC에서 AUC 0.862), 높은 예측 정밀도와 의미론적으로 근거 있는 해석 가능성을 함께 제공한다.