PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01262v1cs.AI

기다림 없는 피드백: 대규모 수학 강의에서 생성형 인공지능 연습 플랫폼 시범 운영

Feedback Without the Wait: Piloting a Generative AI Practice Platform in a Large Maths Class

적시의 구체적인 피드백은 학생 학습에 가장 강력한 영향을 미치는 요인 중 하나이지만, 학생 대 실습 조교(demonstrator) 비율이 높은 대규모 전기공학 강의에서는 이를 지속하기 어렵고, 문제 해결에 막힌 학습자는 자신의 접근 방식이 왜 틀렸는지 확인하기까지 며칠씩 기다려야 할 수도 있습니다. 생성형 인공지능(GenAI)은 대화형 피드백을 확장할 수 있는 방안을 제공하지만, 이를 과제 평가에 활용하는 것은 신뢰성과 책임성 문제를 야기하며, 판단의 신뢰도를 확보하기 위해 인간 참여(human-in-the-loop) 방식을 유지하면 피드백의 가치를 떨어뜨리는 바로 그 지연 문제가 다시 발생합니다. 그 결과 피드백을 효과적으로 만드는 즉각성과 피드백을 신뢰할 수 있게 만드는 인간의 감독 간에 긴장이 발생합니다. 본 연구에서는 자기 주도적 연습 과정에서 즉각적이고 단계별 비계(scaffolded) 피드백을 제공하는 GenAI 연습 플랫폼을 설계하고 시범 운영함으로써 이러한 긴장을 실제 환경에서 해결하고자 했습니다. 이는 인간의 감독을 실시간 채점에서 사전 솔루션 검증 단계로 이전합니다. 본 연구의 목표는 학생들이 이 도구를 어떻게 활용했는지, 피드백의 가치와 신뢰도를 어떻게 인식했는지, 그리고 다른 공학 과목으로 전이될 수 있는 교훈은 무엇인지 파악하는 것입니다.

arXiv:2609.28026v1cs.CL

학생 글쓰기에 대한 LLM 생성 피드백의 피드백 초점과 교육적 적응성 평가

Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing

우리는 최신 대규모 언어 모델(LLM)이 피드백 초점(feedback focus)과 적응성(adaptivity) 측면에서 전문 교사의 교육적 실천을 반영하는 피드백을 생성하는지 조사한다. 기존 평가 연구들은 피드백의 특성, 학습에 미치는 영향, 그리고 피드백의 대상을 살펴보았지만, 피드백의 초점과 그 적응성은 대체로 간과되어 왔다. 이러한 격차를 메우기 위해 우리는 Narciss의 분류 체계를 채택하고 다듬어 일곱 가지 피드백 초점 유형으로 정리하고, 이를 사용해 세 개의 대학 글쓰기 강좌에서 교사와 LLM이 생성한 피드백에 주석을 달았다. 우리는 세 가지 프롬프트 전략 하에서 여섯 개의 LLM이 생성한 피드백과 교사 피드백에 주석을 단 벤치마크인 FeedType을 공개한다. 우리는 피드백 초점 유형의 포괄 범위와 분포를 평가하고, LLM이 전문 교수자처럼 초안 단계와 학생 성취 수준에 따라 피드백을 조정하는지 검토한다. 연구 결과, 대부분의 LLM이 대부분의 피드백 초점 유형을 다루기는 하지만, 교사 피드백의 분포를 반영하지 못하며 적응성 수준도 제각각이고, 교사의 적응적 행동에 필적하는 모델은 없는 것으로 나타났다. 우리는 FeedType이 LLM 피드백 생성에서의 교육적 정렬(pedagogical alignment)에 관한 향후 연구를 뒷받침할 것이라 믿는다.

arXiv:2607.00274v1cs.CL

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

대규모 언어 모델(LLM)이 생성한 작문 피드백을 강사 피드백과 체계적으로 비교·평가하기 위해, 564개의 초안과 8,240개의 강사 주석으로 구성된 공개 코퍼스 SEFORA와 피드백을 단위별로 분할하고 최적 매칭으로 정밀도·재현율·F1을 산출하는 UniMatch 프레임워크를 제안한다. 74가지 실험 구성에서 어떤 LLM도 F1 0.4를 넘지 못했으며, 피드백 과잉 생성이 정렬 성능 저하의 주요 원인임을 밝혔다.