Large Language Models As MOOCs Graders
원문 초록
Massive open online courses (MOOCs) unlock the doors to free education for anyone around the globe with access to a computer and the internet. Despite this democratization of learning, the massive enrollment in these courses means it is almost impossible for one instructor to assess every student's writing assignment. As a result, peer grading, often guided by a straightforward rubric, is the method of choice. While convenient, peer grading often falls short in terms of reliability and validity. In this study, using 18 distinct settings, we explore the feasibility of leveraging large language models (LLMs) to replace peer grading in MOOCs. Specifically, we focus on two state-of-the-art LLMs: GPT-4 and GPT-3.5, across three distinct courses: Introductory Astronomy, Astrobiology, and the History and Philosophy of Astronomy. To instruct LLMs, we use three different prompts based on a variant of the zero-shot chain-of-thought (Zero-shot-CoT) prompting technique: Zero-shot-CoT combined with instructor-provided correct answers; Zero-shot-CoT in conjunction with both instructor-formulated answers and rubrics; and Zero-shot-CoT with instructor-offered correct answers and LLM-generated rubrics. Our results show that Zero-shot-CoT, when integrated with instructor-provided answers and rubrics, produces grades that are more aligned with those assigned by instructors compared to peer grading. However, the History and Philosophy of Astronomy course proves to be more challenging in terms of grading as opposed to other courses. Finally, our study reveals a promising direction for automating grading systems for MOOCs, especially in subjects with well-defined rubrics.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Using Large Language Models for Automated Grading of Student Writing about Science
Grading Massive Open Online Courses Using Large Language Models
콜롬비아 70년 철학의 지도화: Ideas y Valores의 동적 토픽 모델링
Mapping Seven Decades of Philosophy in Colombia: Dynamic Topic Modelling of Ideas y Valores
데이터 기반 접근법은 철학 분야의 역사를 연구하는 유용한 도구로 부상하였다. 그러나 이 영역의 대부분의 연구는 특정 지역과 하위 분야의 제한된 수의 학술지에 초점을 맞추어 왔다. 우리는 동적 토픽 모델링 기법을 적용하여 콜롬비아와 라틴아메리카의 철학사를 탐구함으로써 이 연구의 범위를 확장한다. 본 연구는 1951년에 창간되어 현재 이 지역에서 가장 영향력 있는 철학 학술지 중 하나인 콜롬비아 철학 학술지 Ideas y Valores를 검토한다. 학술지의 역사 전반에 걸친 토픽의 변화를 분석함으로써, 콜롬비아 및 라틴아메리카 맥락의 철학 담론에서 나타나는 다양한 경향과 특정한 역학을 식별한다. 연구 결과, 가장 두드러진 토픽은 (윤리학, 정치철학, 미학을 포함하는) 가치론, 인식론, 과학철학임이 드러난다. 또한 새로운 입장을 제시하기보다 특정 철학자의 저작을 해석하는 데 초점을 둔 논문의 변화를 추적하며, 학술지 존속 기간 전반에 걸쳐 여러 토픽에서 칸트, 후설, 헤겔과 같은 독일 철학자들이 두드러지게 강조됨을 확인한다. 보다 독창적이고 주석 중심이 아닌 철학을 지향한 학술지의 창간 취지를 고려하여, 주석적 토픽이 시간이 지나면서 상대적으로 덜 두드러지게 되었는지를 조사한다. 우리의 분석은 그러한 토픽의 유의미한 감소가 없음을 시사한다. 마지막으로, 이 연구를 다른 라틴아메리카 학술지로 확장하기 위한 아이디어를 제안하고 비영어권 언어의 자연어 처리 워크플로 개선 방안을 제시한다.
천문학을 위한 통계적 기계학습 -- 교재
Statistical Machine Learning for Astronomy -- A Textbook
이 교재는 베이즈 추론에 기반하여 천문학 연구를 위한 통계적 기계학습을 체계적으로 다룬다. 현대적 데이터 분석 기법이 고전 통계 방법과 어떻게 연결되며 익숙한 통계 원리로부터 어떻게 도출되는지를 보여 준다. 전반에 걸쳐 사용되는 베이즈 관점은 천문학의 과학적 추론에 필요한 불확실성 정량화와 통계적 엄밀성을 우선시한다. 교재는 확률 이론과 베이즈 추론에서 출발하여 측정 불확실성이 있는 선형 회귀, 로지스틱 회귀, 분류를 포함한 지도학습으로 나아간다. 비지도학습 주제로는 주성분 분석과 군집화 방법을 다룬다. 이어서 샘플링과 마르코프 연쇄 몬테카를로를 소개하고, 확률적 비모수 방법인 가우시안 过程과 더 넓은 통계적 맥락에서의 신경망을 다룬다. 이론 중심의 접근으로 각 방법을 완전한 수학적 전개와 함께 제1원리에서 도출한 뒤 천문학적 응용을 보인다. 우리는 통계적 통찰을 우선시하여 알고리즘이 왜 작동하는지, 언제 적절한지, 더 넓은 통계 원리와 어떻게 연결되는지를 설명한다. 고전적 방법과 그 이론에 대한 탄탄한 기초에서 출발하여 신경망과 같은 현대 기법으로 이어진다. 이러한 기초를 바탕으로 독자는 대규모 천문 서베이가 요구하는 바와 같이 가정, 한계, 불확실성 전파에 적절히 주의하면서 이 방법들을 천문학 연구에 적용할 수 있다. 22개의 동반 튜토리얼은 Jupyter 노트북에서 천문 데이터에 이 방법들을 적용한다.
LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.
QABBA: 정수 양자화 집계를 통한 기호 기반 시계열 압축
QABBA: Symbolic Time-Series Compression via Integer-Quantized Aggregation
센서와 모니터링 시스템에서 생성되는 시계열 데이터가 확대되면서 간결한 표현의 중요성이 커지고 있다. 이러한 표현은 신호의 구조를 유지하면서 저장, 전송, 연산 비용을 줄여야 한다. 적응형 브라운 브리지 기반 집계(Adaptive Brownian Bridge-based Aggregation, ABBA)는 긴 수치 시계열을 짧은 기호 시퀀스로 변환하여 이러한 요구를 해결하지만, 매개변수 저장량과 연산 정밀도 측면에서는 여전히 개선의 여지가 있다. 우리는 ABBA의 양자화 버전인 Quantized ABBA(QABBA)를 제안한다. QABBA는 기호 중심(symbolic center)을 양자화함으로써 매개변수 사용량을 줄이고, 높은 재구성 품질을 유지하면서 정수 연산을 가능하게 한다. 우리는 양자화로 인해 추가로 발생하는 근사 오차에 대해 여러 오차 경계를 제시한다. 구체적으로 각 세그먼트의 초과 오차에 대한 차원 독립적(dimension-free) 경계, 시간 영역 재구성 오차 경계, 기호 할당의 안정성 조건, 그리고 세그먼트 길이와 증분 사이에 비트를 배분하는 규칙을 제시한다. 이렇게 얻어진 기호 문자열은 별도의 시계열 임베딩 층 없이 사전학습된 대규모 언어 모델(LLM)에 직접 입력할 수 있다. Monash 회귀 아카이브, UCR 시계열 분류 아카이브, UEA 다변량 시계열 분류 아카이브에서의 실험은 저장량, 재구성 정확도, 그리고 후속 예측 성능 사이의 실용적인 트레이드오프를 보여준다. 따라서 QABBA는 시계열 압축과 LLM 기반 분석을 위해 오차가 제어되는 저정밀도 기호 표현을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.