분리된 분석-판정: 복잡한 다단계 창의성 작업에서 LLM을 활용한 자동화된 창의성 평가기
Decoupled Analysis-Judging: An Automated Creativity Evaluator Using LLMs in Complex Multi-step Creativity Tasks
한국어 초록
대규모 언어 모델(LLM)은 장황함 바이어스(verbosity bias) 및 관대함 바이어스(leniency bias)와 같은 바이어스에 취약하기 때문에, 창의성 작업에 대한 자동화된 평가는 LLM-as-a-judge에게 여전히 어려운 과제로 남아 있습니다. 이러한 한계는 단계 간 의존성, 높은 주관성, 넓은 점수 범위로 인해 더욱 불안정하고 편향된 판정이 유발되는 복잡한 다단계 창의성 작업인 맥락 기반 절차적 구조화 작업(CGPST)에서 특히 두드러집니다. 기존 접근법은 특정 작업에 맞춘 학습에 의존하거나 LLM-as-a-judge를 직접 적용하지만, 두 방법 모두 이러한 복잡성 속에서 신뢰할 수 있는 평가를 보장하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 전형적인 LLM-as-a-judge를 분석과 판정으로 분리하는 CGPST용 자동 창의성 평가기인 CreaEval을 제안합니다. 이에 따라 CreaEval은 두 가지 중요한 단계를 포함합니다. 첫째는 메모리 증강 분석(Memory-augmented Analysis)으로, SoT-LLM이 단계 간 메모리를 통합하여 다단계 응답을 구조화된 평가 근거로 변환합니다. 둘째는 근거 기반 판정(Evidence-based Judging)으로, Judge-LLM이 원본 응답에 직접 접근하지 않고 추출된 근거만을 사용하여 판정을 수행합니다. 종합적인 실험 결과에 따르면, CreaEval은 CGPST와 두 가지 고전적인 단순 창의성 작업 전반에서 차순위 베이스라인 대비 평균 22.74%의 성능 향상을 달성하여 뛰어난 일반화 가능성을 입증했습니다. 코드는 https://github.com/Jaong/CreaEval 에서 이용할 수 있습니다.
원문 초록
Automated evaluation of creativity tasks remains challenging for LLM-as-a-Judge, as LLM is susceptible to biases such as verbosity bias and leniency bias. Such limitations are particularly evident in Contextually-Grounded and Procedurally-Structured Tasks (CGPST), a complex multi-step creativity task where inter-step dependencies, highly subjectivity, and wide scoring ranges lead to more unstable and biased judgments. Existing approaches either rely on task-specific training or directly apply LLM-as-a-Judge, both of which struggle to ensure reliable evaluation under such complexity. To bridge these gaps, we propose CreaEval, an automated creativity evaluator for CGPST that decouples typical LLM-as-a-Judge into analysis and judging. Correspondingly, CreaEval involves two critical phases: Memory-augmented Analysis, a SoT-LLM converts multi-step responses into structured evaluation evidence, incorporating cross-step memory; and Evidence-based Judging, a Judge-LLM uses the extracted evidence for judging without accessing raw responses. Comprehensive experiments show that CreaEval achieves an average performance improvement of 22.74% over the second-best baselines across CGPST and two classic simple creativity tasks, demonstrating its generalizability. The code is available at https://github.com/Jaong/CreaEval.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03432v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.