CCL25-Eval Task 5를 위한 시스템 보고서: 새로운 데이터셋과 LoRA 파인튜닝된 Qwen2.5
System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5
최근 대규모 언어 모델(LLM)은 한문 번역 및 한시 생성 분야에서 유망한 진전을 이루었습니다. 그러나 한시의 정밀한 번역과 정서-의미적 이해에 관한 도메인 특화 연구는 여전히 제한적입니다. 주요 과제는 대부분의 연구가 시 감상의 독특한 특징을 간과한 채 시 감상 작업을 일반 도메인 문제로 다룬다는 점이며, 고품질의 도메인 특화 데이터셋이 극히 부족하다는 것입니다. 이러한 제한을 해결하기 위해 우리는 작업을 용어 해석, 의미 해석, 정서적 추론의 세 가지 하위 작업으로 분해했습니다. 여러 오픈소스 데이터셋을 기반으로 데이터 정제 및 정렬을 수행하여 이 도메인에 명시적으로 최적화된 49,404개의 고품질 명령어-응답 쌍으로 구성된 Classical Chinese Poetry Instruction Pair Dataset (CCPoetry-49K)를 구축했습니다. 그 후 Qwen2.5-14B 모델에 Low-Rank Adaptation (LoRA)를 적용하여 파인튜닝함으로써 PoetryQwen이라는 도메인 특화 LLM을 제안했습니다. CCL25-Eval Task 5 벤치마크에 대한 실험 결과, PoetryQwen은 0.757의 점수를 달성하여 Qwen2.5-14B-Instruct 기준선(0.690) 대비 9.7%의 향상을 나타냈습니다. 이러한 결과는 PoetryQwen이 한시의 정밀한 번역과 정서적 이해에서 성능을 크게 향상시킴을 명확히 시사합니다. 우리는 LLM의 도메인 특화 최적화를 지원하기 위한 새로운 데이터셋과 방법론적 고려사항을 제시합니다.