EGS: 교육용 대규모 언어 모델의 안전성을 보완하는 프레임워크
EGS: A Complementary Safety Framework for Educational LLMs
한국어 초록
대규모 언어 모델(LLM)은 맞춤형 교육에 유용할 수 있다. 그러나 청소년이 사용하는 환경에 배포하면 유해하거나 편향되거나 오해를 일으키거나 발달 단계에 맞지 않는 콘텐츠가 노출될 위험이 생긴다. 학생의 질문은 모호하거나 호기심에서 나오는 경우가 많다. 따라서 교육 안전에서는 수락과 거절만 결정하기보다 문맥에 맞춰 안내해야 한다. 모델 자체의 정렬을 쿼리 검토, 상황별 교육 안내, 응답 검토로 보완하는 경량 런타임 프레임워크 교육용 가드레일 시스템(EGS)을 소개한다. 특정 모델에 종속되지 않으며, 입력을 위험 수준에 따라 분류하고 판단이 모호한 질문은 범주별 교육 개입으로 안내하며, 전달하기 전에 출력을 검사한다. 범용 및 교육 특화 벤치마크 실험에서 EGS는 여러 LLM의 콘텐츠 검토 성능, 거절 품질, 탈옥 시도에 대한 강건성을 높였다. 여러 단계의 안전장치를 두면 교육용 LLM에 필요한 학습 지원 능력을 보존하면서 안전성을 높일 수 있음을 시사한다. 커뮤니티에서 활용할 수 있도록 코드와 모델 가중치를 공개할 예정이다.
원문 초록
Large Language Models (LLMs) offer strong potential for personalized education, but adolescent-facing deployment raises risks of toxic, biased, misleading, or developmentally inappropriate content. We argue that educational safety should move beyond binary refusal: student queries are often ambiguous or curiosity-driven, requiring contextual guidance rather than simple blocking. We introduce the Educational Guardrail System (EGS), a lightweight, model-agnostic runtime framework that complements intrinsic alignment through query moderation, scenario-aware pedagogical guidance, and response moderation. EGS triages inputs by risk level, redirects gray-zone queries with category-specific educational interventions, and audits outputs before delivery. Experiments across general and education-specific benchmarks show that EGS improves moderation performance, refusal quality, and jailbreak robustness across diverse LLMs. These findings suggest that defense-in-depth guardrails can strengthen safety while preserving the pedagogical utility required in educational LLMs. Our code and model weights will be publicly available to support community adoption.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22203v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.