본 연구는 논증 에세이에 대해 정확하고 신뢰할 수 있는 점수와 효과적인 종합 피드백을 제공하는 WrAFT(Writing Assessment and Feedback Tool)를 제시한다. WrAFT는 자동 글쓰기 평가(AWE) 작업을 채점, 표면 수준 피드백, 심층 수준 피드백으로 나누는 모듈형 설계를 채택한다. 시스템 구축 과정에서 LLaMA-3.3-70B-Instruct, GPT-4o, Claude 3.7 등 다양한 대규모 언어 모델(LLM)을 직접 프롬프팅과 지도 미세조정 방식으로 평가했다. 공식 벤치마크 점수가 포함된 480편의 TOEFL Independent Writing 에세이 전용 데이터셋을 활용했다. 벤치마크 기반 평가 결과, WrAFT는 채점에서 최첨단 성능을 달성했으며, 0–5 척도의 공식 점수 대비 이차 가중 카파(quadratic weighted kappa, QWK) 0.84, 평균제곱근오차(root mean square error, RMSE) 0.44를 기록했다. 시스템이 생성한 피드백에 대한 인간 평가에서도 높은 승인률이 나타났다: 표면 수준 피드백 96.14%, 심층 수준 거시(macro) 피드백 93.03%, 심층 수준 미시(micro) 피드백 94.69%. 해당 시스템의 대화형 사용자 인터페이스가 개발되어 공개되어 무료로 이용할 수 있다.
자동 에세이 채점(AES) 연구는 주로 교차-프롬프트 일반화에 집중해 왔으며, 이는 채점 기준이 일반적으로 일정하게 유지되는 가운데 보이지 않는 프롬프트의 에세이를 채점하는 문제이다. 그러나 실제로는 교육자들이 에세이의 다양한 측면을 평가하기 위해 채점 과제에서 루브릭을 수정하거나 새로 도입할 수 있다. 본 연구는 교차-루브릭 일반화를 다룬다. 즉, 하나의 루브릭 집합 하에서 라벨이 붙은 에세이로 학습하고, 에세이의 서로 다른 측면을 목표로 하는 이전에 보지 못한 루브릭에서 평가하는 것이다. 우리는 두 가지 구성 요소를 갖춘 대규모 언어 모델(LLM) 미세조정 프레임워크를 사용한다: traits라고 불리는 루브릭에 무관한 중간 표현, 그리고 학습 중 관찰된 루브릭 하의 대상 에세이 감독(supervision)이다. 학생의 비판적 사고 능력에 대한 여러 루브릭 정의 라벨로 보강된 AES 데이터셋에서, traits는 학습 중 대상 루브릭과 대상 에세이가 모두 보이지 않는 가장 어려운 설정에서 traits가 없는 기준선 대비 macro F1을 5.0% 향상시킴을 확인했다. 또한 대상 에세이 감독을 늘리면 성능이 향상되며, 우리의 최고 성능 미세조정 오픈소스 Llama 기반 모델이 GPT-5-mini 프롬프팅을 macro F1 기준 2.1%p 앞서고 GPT-5에는 1.9%p 뒤처진다. 이러한 결과는 trait 기반 중간 구조와 통제된 감독이 보이지 않는 루브릭에 대한 일반화를 개선함을 보여준다.
자동 서술형 평가(AES) 시스템은 채점 업무 부담 관리를 지원하고 대규모 평가에서 보조 평가자를 제공하기 위해 점점 더 많이 사용된다. 인간 채점은 학생의 인구통계적 특성에 자주 영향을 받지만, AES 모델 학습에 사용되는 텍스트 입력과 인구통계 메타데이터를 통합하는 다양한 전략의 효과는 아직 충분히 탐구되지 않았다. 본 연구는 다중모달 융합 전략 중 하나인 단순 메타데이터 연결(naive metadata concatenation)이 DistilBERT 기반 AES 모델의 예측 정확도, 학습 수렴, 점수 형평성에 미치는 영향을 조사한다. ASAP 2.0 데이터셋을 사용하여 기준선 모델과 토큰화된 텍스트와 인구통계 메타데이터를 단순 다중모달 융합 전략으로 연결하는 입력으로 학습된 실험 모델을 비교 분석했다. 10-fold 교차 검증으로 평가한 결과, 인구통계 메타데이터와 입력의 조기 융합(early fusion)이 모델의 전반적인 예측 정확도를 크게 저하시킨다는 것이 밝혀졌다. 기준선 모델은 이차 가중 카파(QWK) 0.727을 달성했으며, 메타데이터를 통합하면 0.656으로 하락했다. 또한 실험 모델은 기준선 모델(1.25)에 비해 더 높은 검증 손실(1.29)을 보였다. 실험 모델은 채점 바이어스도 악화되어, 19개 테스트 중 점수 형평성 사례가 15에서 12로 감소했다.
수치적 점수 예측을 넘어, 최근 자동 에세이 채점(automated essay scoring) 연구는 근거와 실행 가능한 조언을 제공하는 고품질 피드백 생성을 점점 더 강조하고 있습니다. 전문가 주석(annotation)의 높은 비용을 완화하기 위해, 기존 연구는 에세이 평가 모델 학습 시 일반적으로 LLM 생성 피드백에 의존해 왔습니다. 그러나 이러한 피드백은 명시적인 품질 검증(validation) 없이 사용되는 경우가 많아, 다운스트림 애플리케이션에서 노이즈가 전파되는 결과를 초래합니다. 이러한 제한 사항을 해결하기 위해, 우리는 구체성(specificity), 유용성(helpfulness), 타당성(validity)의 세 가지 교육학적 근거에 기반한 차원을 따라 LLM 생성 에세이 피드백을 평가하는 LLM 기반 프레임워크인 FeedEval을 제안합니다. FeedEval은 본 연구에서 큐레이션된 데이터셋(dataset)으로 학습된 차원별 전문 LLM 평가자를 활용하여 여러 피드백 후보를 평가하고, 다운스트림 사용을 위한 고품질 피드백을 선정합니다. ASAP++ 벤치마크(benchmark)에 대한 실험 결과, FeedEval은 인간 전문가의 판단과 밀접하게 일치하며, FeedEval을 통해 필터링된 고품질 피드백으로 학습된 에세이 채점 모델은 우수한 채점 성능을 달성함을 보여줍니다. 더불어 소형 LLM을 활용한 수정 실험을 통해, FeedEval이 식별한 고품질 피드백이 더욱 효과적인 에세이 수정으로 이어진다는 것을 확인했습니다. 우리는 코드와 큐레이션된 데이터셋을 다음 링크에서 공개합니다: https://github.com/BBeeChu/FeedEval.git.
아랍어 텍스트 자동 채점(ATS)을 위한 대규모 언어 모델(LLM) 기반 접근 방식을 조사하고, 5가지 차원의 구조적 분류 체계를 통해 기존 연구를 비교 분석합니다. 단답형 채점(ASAG)과 에세이 채점(AES) 등을 다룬 결과, 아랍어권 교육의 질 향상을 위해 교육학적으로 기반한 지속적인 연구가 필요함을 강조합니다.
우리는 다중 에이전트 추론과 검색-증강 그라운딩을 결합한 학습이 필요 없는 분석적 에세이 채점 프레임워크인 MADRAG를 제안합니다. 바이어스와 불안정한 채점에 취약한 표준적인 LLM-as-judge 접근 방식과 달리, MADRAG는 평가를 대화형 프로세스로 분해합니다. 여기서 지지자(Advocate)는 강점을 식별하고, 비판자(Skeptic)는 약점을 비판하며, 판사(Judge)는 이들의 논증을 종합하여 최종 점수를 산출합니다. 중요한 점은 판사가 루브릭에 부합하는 예시 검색을 통해 증강되어, 점수가 매겨진 예시와의 비교를 통해 보정이 가능하다는 것입니다. 실험 결과, MADRAG는 프롬프트 기반 베이스라인을 유의미하게 능가하면서도 태스크 특화 학습 없이 지도 학습 시스템의 성능에 근접하는 것으로 나타났습니다. 제거 연구를 통해 검색이 보정 이득을 주도하고, 토론이 상위 수준 특성에 대한 추론을 개선함을 확인했습니다. 본 연구의 발견은 신뢰할 수 있는 LLM 기반 평가에서 구조화된 상호작용과 외부 메모리의 상호 보완적인 역할을 강조합니다.