dep.ecnu.edu.cn

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.03432v1cs.CL

분리된 분석-판정: 복잡한 다단계 창의성 작업에서 LLM을 활용한 자동화된 창의성 평가기

Decoupled Analysis-Judging: An Automated Creativity Evaluator Using LLMs in Complex Multi-step Creativity Tasks

대규모 언어 모델(LLM)은 장황함 바이어스(verbosity bias) 및 관대함 바이어스(leniency bias)와 같은 바이어스에 취약하기 때문에, 창의성 작업에 대한 자동화된 평가는 LLM-as-a-judge에게 여전히 어려운 과제로 남아 있습니다. 이러한 한계는 단계 간 의존성, 높은 주관성, 넓은 점수 범위로 인해 더욱 불안정하고 편향된 판정이 유발되는 복잡한 다단계 창의성 작업인 맥락 기반 절차적 구조화 작업(CGPST)에서 특히 두드러집니다. 기존 접근법은 특정 작업에 맞춘 학습에 의존하거나 LLM-as-a-judge를 직접 적용하지만, 두 방법 모두 이러한 복잡성 속에서 신뢰할 수 있는 평가를 보장하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 전형적인 LLM-as-a-judge를 분석과 판정으로 분리하는 CGPST용 자동 창의성 평가기인 CreaEval을 제안합니다. 이에 따라 CreaEval은 두 가지 중요한 단계를 포함합니다. 첫째는 메모리 증강 분석(Memory-augmented Analysis)으로, SoT-LLM이 단계 간 메모리를 통합하여 다단계 응답을 구조화된 평가 근거로 변환합니다. 둘째는 근거 기반 판정(Evidence-based Judging)으로, Judge-LLM이 원본 응답에 직접 접근하지 않고 추출된 근거만을 사용하여 판정을 수행합니다. 종합적인 실험 결과에 따르면, CreaEval은 CGPST와 두 가지 고전적인 단순 창의성 작업 전반에서 차순위 베이스라인 대비 평균 22.74%의 성능 향상을 달성하여 뛰어난 일반화 가능성을 입증했습니다. 코드는 https://github.com/Jaong/CreaEval 에서 이용할 수 있습니다.

arXiv:2606.20287v1cs.CL

PsyScore: 특성 적응형 에세이 채점 및 ZPD 기반 비계 설정 피드백을 위한 심리측정학적 인지 프레임워크

PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback

효과적인 자동 에세이 채점(AES)은 신뢰할 수 있는 평가와 실행 가능한 교육적 피드백을 모두 지원할 것으로 기대됩니다. 그러나 기존 접근 방식은 종종 채점과 피드백을 별개의 구성 요소로 취급합니다. 신경망 채점 모델은 제한된 해석 가능성을 제공하는 반면, 대규모 언어 모델(LLM) 기반 피드백은 일반적으로 학습자의 숙련도 수준을 반영하지 못합니다. 이러한 단절을 해결하기 위해, 본 연구는 공유된 잠재 능력 표현을 통해 진단적 평가와 교수적 비계 설정을 통합하는 심리측정학적 인지 프레임워크인 PsyScore를 제안합니다. PsyScore는 세 가지 핵심 모듈로 구성됩니다: 등간 부분 점수 모델(GPCM)을 신경망 아키텍처에 통합하여 심리측정학적 해석 가능성을 유지하면서 학생 능력을 정밀하게 추정할 수 있는 특성 적응형 신경망 IRT 채점기, 진단된 능력 매개변수에 따라 멀티 에이전트 피드백 전략을 조정하여 다양한 숙련도 수준에서 교육적 초점을 적응시키는 ZPD 기반 비계 설정 피드백 생성기, 그리고 쌍대 선호 판단과 학생 수정 시뮬레이션을 통해 피드백 품질을 평가하는 다중 관점 피드백 평가 전략입니다. ASAP++ 데이터셋에 대한 실험 결과, PsyScore는 경쟁력 있는 채점 성능을 달성하면서 더 교육학적으로 정렬된 피드백을 제공함을 입증합니다.