교육 자료의 품질을 보장하려면 표준적인 교정 이상의 작업이 필요합니다. 교과서는 사실적 정확성, 도메인별 기술적 정확성, 언어적 품질을 동시에 감사해야 하며, 이는 범용 문법 검사기로는 해결할 수 없는 과제입니다. 본 논문에서는 교과 영역에 걸쳐 교육 자료의 자동화된 품질 보증을 위한 모듈식 다중 에이전트 파이프라인인 AI Textbook Auditor를 제안합니다. 이 시스템은 교과서 PDF를 입력받아 두 가지 분석 트랙을 통해 구조화된 인간 검토 가능 보고서를 생성합니다. 첫 번째는 사실 및 기술 트랙(Factual and Technical Track)으로, 특화된 LLM 에이전트 앙상블이 사실 오류, 코드 오류, 잘못된 정의, 개념적 불일치를 탐지하며 인문학 도메인에는 웹 검색이 보강됩니다. 두 번째는 발음 부호 인코딩을 보존하기 위해 PDF 네이티브 방식으로 작동하는 문법 트랙(Grammar Track)입니다. 판정 에이전트(Judge Agent)는 도메인별 규칙을 사용하여 거짓 양성을 필터링한 후 결과를 인간 검토자에게 제시합니다. 파이프라인은 비전 네이티브 페이지 렌더링과 PyMuPDF 텍스트 추출의 두 가지 수집 모드를 지원하며, 주제별 오류 분류 체계를 인코딩한 커스텀 프롬프트를 통해 도메인 적응이 가능합니다. 본 시스템을 루마니아 고등학교 교과서 두 권에 적용하여 시연합니다. CS 교과서에서는 7개 범주에 걸쳐 56건의 기술적 소견이 도출되었으며 전문가 검증 정밀도는 62.5%였고, 역사 및 사회과학 교과서에서는 사실 오류, 이념적 바이어스, 문법을 아우르는 72건의 소견이 도출되었습니다. 이 시스템은 후보 문제를 찾는 수작업 부담을 줄이기 위한 트리아지(triage) 도구로 설계되었으며, 편집 조치 전에 반드시 인간 전문가의 검증이 필요합니다.
대규모 언어 모델(LLM)로 구동되는 생성형 소셜 로봇(GSR)은 적응형 대화 기반 튜터링을 가능하게 하지만, 동시에 허위 정보, 과도한 의존, 개인정보 침해와 같은 위험도 초래한다. 교육 기술 및 책임 있는 AI를 위한 기존 프레임워크는 주로 바람직한 행동을 정의하는 데 그치며, 생성형 에이전트가 이러한 행동을 안정적으로 표현하는 데 필요한 지식 전제조건을 구체적으로 명시하는 경우는 드물다. 이러한 간극을 해소하기 위해 본 연구는 지식 기반 설계 관점을 채택하고, 튜터링 지향 GSR이 고등교육 환경에서 책임감 있고 효과적으로 기능하기 위해 어떤 정보를 필요로 하는지 탐구한다. 대학생 및 강사와의 12회 반구조화 인터뷰를 바탕으로, 세 가지 지식 유형에 걸친 12개의 설계 요구사항을 도출하였다: 자기 지식(역할 커스터마이징이 가능한 적극적·성실·친화적 성격), 사용자 지식(학생의 학습 목표, 학습 진도, 동기 유형, 감정 상태, 배경에 관한 개인화 정보), 맥락 지식(학습 자료, 교육 전략, 강좌 관련 정보, 물리적 학습 환경). 이러한 결과를 토대로, 본 연구는 튜터링 GSR 설계를 위한 구조화된 기반을 제공하며, 생성형 AI 역량을 교육학적·윤리적 기대와 정렬시킨다.
K-12 교육 환경에서 대규모 언어 모델(LLM)이 생성한 교수 설명의 교육적 위험을 평가하기 위한 데이터셋 AIriskEval-edu-db2를 소개하며, 1,639개의 설명에 사실 정확성·설명 깊이·초점·학습자 적합성·이념적 편향의 5개 차원 위험 루브릭과 785개의 설명 가능성 주석을 포함한다. 경량 로컬 모델인 Llama 3.1 8B를 AIriskEval-edu-db2로 파인튜닝하면 Gemini 2.5 Pro 및 GPT-5.5 등 최신 독점 모델에 준하거나 이를 능가하는 교육적 위험 탐지 성능을 달성할 수 있음을 실험으로 검증했다.
대규모 언어 모델(LLM)이 교육적 소통에서 교수 의도를 추론하는 능력을 평가하기 위해, 베이지안 기반의 교수 의도 추론 엔진(PIIE)을 핵심으로 하는 적응형 교수 경계 프레임워크(Adaptive Pedagogical Vigilance, APV)를 제안한다. GPT-4o, Claude 3.5 등 주요 LLM 실험에서 APV는 교수 콘텐츠와 단순 노출 콘텐츠의 판별력을 크게 향상시키고 인간 판단과 높은 상관관계(r=0.958)를 달성하며 자연적 교육 담화로의 일반화에서도 강건한 성능을 유지했다.
교육을 위한 대규모 언어 모델(LLM) 평가는 모델이 무엇을 알고 있는지만이 아니라 어떻게 가르치는지를 측정해야 한다. 기존 벤치마크는 도메인 일반적 정확성에 초점을 맞추거나, 롱테일(long-tail) 교육 시나리오로 확장하기 어려운 수동 설계 루브릭에 의존한다. 우리는 세밀한 시나리오별 루브릭을 구축·정제·적용하기 위한 엔드투엔드 프레임워크인 Elmes*를 제안한다. Elmes*는 교사-학생-판정자 상호작용을 위한 선언적 다중 에이전트 엔진과, 전문가가 정의한 교육적 차원으로부터 평가 기준과 테스트 데이터를 공동 최적화하는 자기 진화 모듈인 SceneGen을 결합한다. Elmes*를 사용해 11개 과목, 3개 학년대, 10가지 과제 유형에 걸친 330개 시나리오를 포함하고 1,000개 이상의 2차 지표를 갖춘 Edu-330을 구축한다. Edu-330과 전문가가 작성한 4개의 골드 스탠다드 시나리오에서의 실험은 교육 역량이 다차원적임을 보여준다: 최상위 LLM은 주로 창의성과 가치 통합에서 차이를 보이고, 지식이 강한 모델은 소크라테스식 스캐폴딩(Socratic scaffolding)에서 실패할 수 있으며, 교육 특화 InnoSpark가 인간 평가 평균 점수에서 최고 성적을 달성한다. LLM 판정자(judge)는 훨씬 낮은 점수 분산으로 인간과 비교 가능한 순위를 유지하지만, 자기 선호(self-preference)와 같은 판정자별 편향을 나타낸다. 절제 실험(ablation)은 전문가 점수 기반 퓨샷(few-shot) 앵커링이 인간-LLM 정렬(alignment)을 개선함을 보여주며, 추론 강제와 탐욕 디코딩(greedy decoding)은 모델에 따라 달라진다. 따라서 Elmes*는 교육학적으로 근거 있는 LLM 평가를 위한 확장 가능한 진단 인프라를 제공한다.