PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15941v1cs.CL

치의학 교육에서 읽기 자료와 학습 목표의 정렬 및 주제 균형 평가를 위한 자연어 처리

Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education

교육과정 개발팀은 지정된 읽기 자료가 학습 목표(LO)를 뒷받침하는지, 그리고 주제 범위가 균형 있게 다루어지는지 검토할 시간이 부족한 경우가 많습니다. 본 연구에서는 근거 기반의 읽기 자료 목록 큐레이션을 지원하는 자연어 처리(NLP) 워크플로를 제시합니다. 이 워크플로는 검색을 위한 PubMedBERT 문장 임베딩(embedding) 및 코사인 유사도, 근거 확인을 위한 자연어 추론(NLI), 그리고 범위 분석을 위한 토픽 모델링을 결합합니다. 치의학 교육 분야에서 13개의 강좌 수준 LO와 PubMed 기반의 3,837개 LO-초록 쌍으로 구성된 코퍼스를 활용해 이 접근법을 테스트했습니다. 13개 LO 전반에서 중앙값 코사인 유사도는 0.86에서 0.91 사이로 나타나 전반적으로 높은 의미적 유사성을 보였습니다. 토픽 모델링 결과 영역별로 1~2개의 지배적인 토픽이 나타나며 범위는 넓으나 불균형한 것으로 확인되었습니다. 읽기 자료를 선정하는 데는 유사도만으로는 충분하지 않았습니다. 높은 유사도를 보인 쌍(코사인 0.90~1.00) 중 22.9%가 NLI에 의해 중립(neutral) 또는 모순(contradictory)으로 분류되었습니다. 전문가가 라벨링한 49개 쌍의 검증(validation) 세트에서 코사인 기반 검색(코사인 >= 0.90)은 0.69의 정확도를 기록한 반면, 코사인과 NLI를 결합한 접근법은 전문가 정렬(alignment) 라벨 대비 0.73의 정확도를 달성했습니다. 전반적으로 이 워크플로는 오탐(false positive)을 줄이고 의도한 LO에 더 잘 부합하는 읽기 자료 선정을 지원함으로써 AI가 교육과정 정렬을 어떻게 도울 수 있는지 보여줍니다.

arXiv:2606.19469v1cs.AI

주제 범위, 역량 및 인지적 깊이에 따른 커리큘럼 정렬 측정: CS2013과 CS2023에 적용한 종단적 프레임워크

Measuring Curriculum Alignment across Topical Coverage, Competency, and Cognitive Depth: A Longitudinal Framework Applied to CS2013 and CS2023

학부 컴퓨터 과학 교육은 약 10년마다 개정되는 국제 커리큘럼 가이드라인을 따르고 있으나, 교육 과정이 현재 가이드라인을 얼마나 완전히 다루는지와 가이드라인이 재구성될 때 그 범위가 어떻게 변화하는지를 측정할 수 있는 신뢰할 수 있고 재현 가능한 방법이 부족합니다. 본 연구는 교육 과정의 외부 지식 체계에 대한 커버리지를 측정하는 인간 개입형(human-in-the-loop) 파이프라인을 통해 이 문제를 해결하며, 이를 공인된 컴퓨터 과학 학사 학위 프로그램 하나에 대해 Computer Science Curricula 2013(CS2013)과 2023(CS2023)을 대상으로 종단적으로 적용했습니다. 해당 파이프라인은 교육 과정과 각 가이드라인을 구조화된 말뭉치로 표현하고, 의미 기반 검색(semantic retrieval)을 통해 강의와 지식 단위 간의 후보 매칭을 생성한 뒤, 명시적인 커버리지 정의에 따라 인간의 판단으로 이를 확정합니다. 벤치마킹한 7개의 검색기(retriever) 중 상호 순위 융합(reciprocal-rank-fusion) 앙상블이 가장 우수했으며, 알려진 롱 컨텍스트 모델은 소형 문장 모델보다 성능이 떨어져 검색기 선택은 신중하게 측정되어야 함을 시사합니다. 두 매핑 결과는 독립적인 제2 평가자에 의해 검증되었으며(CS2023의 경우 Cohen's kappa 0.64, CS2013의 경우 0.69), 신뢰도를 확보했습니다. 해당 교육 과정은 CS2023 지식 단위의 49.7%와 CS2013 지식 단위의 50.9%를 다루고 있어, 지난 10년 동안 거의 일정한 수준을 유지하고 있습니다. 동일한 검색 후 확인(retrieve-then-confirm) 설계를 역량 명시와 인지적 깊이로 확장하여 분석한 결과, 해당 교육 과정은 각 가이드라인에서 다루어진 단위의 약 88%에 대해 역량을 명시하고 있습니다. 그러나 권장 깊이로 역량을 제공하는 비율은 CS2023 기준 교육 과정에 포함된 단위의 76%인 반면 CS2013 기준 95%로 나타났는데, 이러한 격차는 교육 과정의 문제가 아니라 새로운 가이드라인의 높아진 기대치를 반영한 것입니다. 종단적 비교를 통해 두 가이드라인과 ABET(공학 교육 인증 기구) 기준에서 모두 발견된 지속적인 구조적 격차(병렬 및 분산 컴퓨팅, 프로그래밍 언어 기초, 시스템 기초)를 표준의 진화를 반영하는 차이점과 명확히 구분할 수 있었습니다. 본 측정 도구는 재사용이 가능하며, 요청 시 저자들로부터 제공받을 수 있습니다.