문학 언어 매시업: 대규모 언어 모델로 소설을 큐레이션하기
Literary Language Mashup: Curating Fictions with Large Language Models
한국어 초록
본 논문에서는 GrAImes 프레임워크 안에서 LLM 자체를 평가자로 활용하여 문학 소설에 대한 인간 평가를 대체할 수 있는 방안을 제안한다. 이 방법론을 스페인어로 쓰인 인간 창작 및 AI 생성 초단편소설에 적용하여 문학 박사 교수 5명과 문학 애호가 16명에게 평가를 받았으며, 스페인어와 영어의 단편소설에도 적용하였다. LLM의 평가를 인간 평가자의 평가와 비교하여 두 관점 간의 일치와 차이의 정도를 살펴보고, 이를 통해 LLM이 보조적 문학 평가자로 활용될 수 있는지 검토한다. 분석은 LLM의 응답이 인간 평가자의 응답과 얼마나 일치하는지에 초점을 두며, 문학 평가에서 LLM의 잠재력에 대한 통찰을 제공한다. 실험 결과, Krippendorff의 알파 신뢰도 계수가 0.66 미만으로 나타나 LLM은 문학적 초단편소설과 단편소설 평가에서 인간 평가자를 대체할 수는 없지만, 해당 텍스트의 편집적 품질에 대한 초기 관점을 제공하는 유용한 도구로 활용될 수 있음이 드러났다. 전반적으로 본 연구는 문학에서 인공지능의 역할을 둘러싼 지속적인 논의에 기여하며, 방법론적 한계와 보완적 자원으로서의 잠재력을 함께 강조한다.
원문 초록
In this paper, we propose an alternative approach to human evaluation of literary fictions by employing LLMs themselves as evaluators within the GrAImes framework. We apply this methodology to assess human-written and AI-generated microfictions in Spanish, to five PhD professors in literature and sixteen literary enthusiasts, and to short stories in both Spanish and English. By comparing the evaluations performed by LLMs with those of human judges, we examine the degree of alignment and divergence between both perspectives, thereby assessing the feasibility of LLMs as auxiliary literary evaluators. Our analysis focuses on the alignment of responses from LLMs with those of human evaluators, providing insights into the potential of LLMs in literary assessment. The conducted experiments reveal that while LLMs cannot be regarded as substitutes for human judges in the evaluation of literary microfictions and short stories, with a Krippendorff's alpha reliability coefficient less than 0.66, they can serve as a valuable tool that offers an initial perspective on the editorial quality of the texts in question. Overall, this study contributes to the ongoing discourse on the role of artificial intelligence in literature, underlining both its methodological constraints and its potential as a complementary resource for literary evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21649v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.