분리된 분석-판정: 복잡한 다단계 창의성 작업에서 LLM을 활용한 자동화된 창의성 평가기
Decoupled Analysis-Judging: An Automated Creativity Evaluator Using LLMs in Complex Multi-step Creativity Tasks
대규모 언어 모델(LLM)은 장황함 바이어스(verbosity bias) 및 관대함 바이어스(leniency bias)와 같은 바이어스에 취약하기 때문에, 창의성 작업에 대한 자동화된 평가는 LLM-as-a-judge에게 여전히 어려운 과제로 남아 있습니다. 이러한 한계는 단계 간 의존성, 높은 주관성, 넓은 점수 범위로 인해 더욱 불안정하고 편향된 판정이 유발되는 복잡한 다단계 창의성 작업인 맥락 기반 절차적 구조화 작업(CGPST)에서 특히 두드러집니다. 기존 접근법은 특정 작업에 맞춘 학습에 의존하거나 LLM-as-a-judge를 직접 적용하지만, 두 방법 모두 이러한 복잡성 속에서 신뢰할 수 있는 평가를 보장하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 전형적인 LLM-as-a-judge를 분석과 판정으로 분리하는 CGPST용 자동 창의성 평가기인 CreaEval을 제안합니다. 이에 따라 CreaEval은 두 가지 중요한 단계를 포함합니다. 첫째는 메모리 증강 분석(Memory-augmented Analysis)으로, SoT-LLM이 단계 간 메모리를 통합하여 다단계 응답을 구조화된 평가 근거로 변환합니다. 둘째는 근거 기반 판정(Evidence-based Judging)으로, Judge-LLM이 원본 응답에 직접 접근하지 않고 추출된 근거만을 사용하여 판정을 수행합니다. 종합적인 실험 결과에 따르면, CreaEval은 CGPST와 두 가지 고전적인 단순 창의성 작업 전반에서 차순위 베이스라인 대비 평균 22.74%의 성능 향상을 달성하여 뛰어난 일반화 가능성을 입증했습니다. 코드는 https://github.com/Jaong/CreaEval 에서 이용할 수 있습니다.