교육과정 개발팀은 지정된 읽기 자료가 학습 목표(LO)를 뒷받침하는지, 그리고 주제 범위가 균형 있게 다루어지는지 검토할 시간이 부족한 경우가 많습니다. 본 연구에서는 근거 기반의 읽기 자료 목록 큐레이션을 지원하는 자연어 처리(NLP) 워크플로를 제시합니다. 이 워크플로는 검색을 위한 PubMedBERT 문장 임베딩(embedding) 및 코사인 유사도, 근거 확인을 위한 자연어 추론(NLI), 그리고 범위 분석을 위한 토픽 모델링을 결합합니다. 치의학 교육 분야에서 13개의 강좌 수준 LO와 PubMed 기반의 3,837개 LO-초록 쌍으로 구성된 코퍼스를 활용해 이 접근법을 테스트했습니다. 13개 LO 전반에서 중앙값 코사인 유사도는 0.86에서 0.91 사이로 나타나 전반적으로 높은 의미적 유사성을 보였습니다. 토픽 모델링 결과 영역별로 1~2개의 지배적인 토픽이 나타나며 범위는 넓으나 불균형한 것으로 확인되었습니다. 읽기 자료를 선정하는 데는 유사도만으로는 충분하지 않았습니다. 높은 유사도를 보인 쌍(코사인 0.90~1.00) 중 22.9%가 NLI에 의해 중립(neutral) 또는 모순(contradictory)으로 분류되었습니다. 전문가가 라벨링한 49개 쌍의 검증(validation) 세트에서 코사인 기반 검색(코사인 >= 0.90)은 0.69의 정확도를 기록한 반면, 코사인과 NLI를 결합한 접근법은 전문가 정렬(alignment) 라벨 대비 0.73의 정확도를 달성했습니다. 전반적으로 이 워크플로는 오탐(false positive)을 줄이고 의도한 LO에 더 잘 부합하는 읽기 자료 선정을 지원함으로써 AI가 교육과정 정렬을 어떻게 도울 수 있는지 보여줍니다.
학부 컴퓨터 과학 교육은 약 10년마다 개정되는 국제 커리큘럼 가이드라인을 따르고 있으나, 교육 과정이 현재 가이드라인을 얼마나 완전히 다루는지와 가이드라인이 재구성될 때 그 범위가 어떻게 변화하는지를 측정할 수 있는 신뢰할 수 있고 재현 가능한 방법이 부족합니다. 본 연구는 교육 과정의 외부 지식 체계에 대한 커버리지를 측정하는 인간 개입형(human-in-the-loop) 파이프라인을 통해 이 문제를 해결하며, 이를 공인된 컴퓨터 과학 학사 학위 프로그램 하나에 대해 Computer Science Curricula 2013(CS2013)과 2023(CS2023)을 대상으로 종단적으로 적용했습니다. 해당 파이프라인은 교육 과정과 각 가이드라인을 구조화된 말뭉치로 표현하고, 의미 기반 검색(semantic retrieval)을 통해 강의와 지식 단위 간의 후보 매칭을 생성한 뒤, 명시적인 커버리지 정의에 따라 인간의 판단으로 이를 확정합니다. 벤치마킹한 7개의 검색기(retriever) 중 상호 순위 융합(reciprocal-rank-fusion) 앙상블이 가장 우수했으며, 알려진 롱 컨텍스트 모델은 소형 문장 모델보다 성능이 떨어져 검색기 선택은 신중하게 측정되어야 함을 시사합니다. 두 매핑 결과는 독립적인 제2 평가자에 의해 검증되었으며(CS2023의 경우 Cohen's kappa 0.64, CS2013의 경우 0.69), 신뢰도를 확보했습니다. 해당 교육 과정은 CS2023 지식 단위의 49.7%와 CS2013 지식 단위의 50.9%를 다루고 있어, 지난 10년 동안 거의 일정한 수준을 유지하고 있습니다. 동일한 검색 후 확인(retrieve-then-confirm) 설계를 역량 명시와 인지적 깊이로 확장하여 분석한 결과, 해당 교육 과정은 각 가이드라인에서 다루어진 단위의 약 88%에 대해 역량을 명시하고 있습니다. 그러나 권장 깊이로 역량을 제공하는 비율은 CS2023 기준 교육 과정에 포함된 단위의 76%인 반면 CS2013 기준 95%로 나타났는데, 이러한 격차는 교육 과정의 문제가 아니라 새로운 가이드라인의 높아진 기대치를 반영한 것입니다. 종단적 비교를 통해 두 가이드라인과 ABET(공학 교육 인증 기구) 기준에서 모두 발견된 지속적인 구조적 격차(병렬 및 분산 컴퓨팅, 프로그래밍 언어 기초, 시스템 기초)를 표준의 진화를 반영하는 차이점과 명확히 구분할 수 있었습니다. 본 측정 도구는 재사용이 가능하며, 요청 시 저자들로부터 제공받을 수 있습니다.