PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30556v1cs.CL

Poller: LLM은 시 이해 과제 평가에 적합한가?

Poller: Are LLMs Suitable for Evaluating the Poetry Understanding Task?

전통적인 자동 평가 방법은 현대 중국 시의 고유한 문학적 특성으로 인해 적합하지 않은 것으로 나타났다. 인간 평가는 신뢰성이 높지만 비용이 많이 들고 대규모 데이터에 적용하기 어렵다. 본 논문에서는 대규모 언어 모델(LLM)을 활용하여 시 이해 과제를 평가하는 새로운 방법인 Poller(Poetry LLM Evaluator)를 제안한다. 구체적으로, 본 방법은 LLM이 상세한 정보를 바탕으로 시의 저자 역할을 수행하도록 요구함으로써 시인의 관점을 채택하여 인간의 평가와 판단을 에뮬레이션한다. 우리는 여러 LLM에 대해 포괄적인 실험을 수행하여 여덟 가지 전문 차원에서 시 해석을 평가하였다. 실험 결과, 본 방법이 LLM과 인간 간의 평가 오류를 효과적으로 줄이는 것으로 나타났다. 특히 특정 차원 평가에서 Poller 기반 LLM은 기준선(baseline) 방법 대비 수사 기법과 낯설게 하기(defamiliarization)에 대해 각각 94.55%와 89.53%의 오류 감소를 달성하였다. 이러한 성능은 기존 LLM 평가 방법으로는 달성할 수 없는 수준이다. 다양한 차원에서 여러 LLM을 대상으로 한 실험 결과는 본 방법의 효과를 검증한다. 본 연구는 자동화된 효율성과 인간 전문성 사이의 격차를 해소하여 시 관련 과제에서의 자동 평가를 위한 기반을 마련한다.