PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25833v1cs.CL

ARAFA: LLM으로 생성한 아랍어 팩트체킹 데이터셋

ARAFA: An LLM-Generated Arabic Fact-Checking Dataset

자동 팩트체킹(fact-checking)은 데이터셋과 자원의 부족으로 인해 아랍어 자연어 처리(NLP)에서 중요한 과제로 남아 있다. 본 논문에서는 대규모 언어 모델(LLM)을 활용한 자동화된 프레임워크로 구축한, 현대 표준 아랍어(Modern Standard Arabic) 팩트체킹을 위한 새로운 대규모 데이터셋 Arafa를 소개한다. 이 데이터셋은 세 단계 파이프라인으로 구축되었다. (1) 뒷받침하는 텍스트 근거와 함께 아랍어 위키백과 페이지에서 주장(claim)을 생성하고, (2) 주장 변형(claim mutation)을 통해 반박 근거를 갖춘 까다로운 반사실적(counterfactual) 주장을 생성하며, (3) 자동 검증 단계에서 생성된 주장이 함께 제공된 근거에 의해 지지되거나 반박되는지, 혹은 근거가 주장의 타당성을 판단하기에 충분한 정보를 제공하지 않는지를 확인한다. 그 결과 만들어진 데이터셋은 '지지됨(supported)', '반박됨(refuted)', '정보 부족(not enough information)'으로 레이블링된 181,976개의 주장-근거 쌍으로 구성된다. 데이터셋의 테스트 샘플에 대해 수행한 사람 평가에서는 Cohen's Kappa를 사용했을 때 지지되는 주장에 대해 kappa = 0.89, 반박되는 주장에 대해 kappa = 0.94로 높은 평가자 간 일치도를 보였다. 사람이 평가한 샘플을 기준으로 한 자동 검증은 지지되는 주장에서 86%, 반박되는 주장에서 88%의 정확도를 달성했다. 자동 아랍어 팩트체킹을 위한 자원으로서 Arafa의 가치를 보여주기 위해, 오픈소스 트랜스포머 기반 모델 네 개를 Arafa로 파인튜닝했으며, 가장 성능이 좋은 모델은 테스트 데이터에서 Macro F1-score 77%를 달성했다. Arafa는 아랍어 팩트체킹을 위한 최초의 대규모 데이터셋일 뿐만 아니라, 본 프레임워크는 다른 저자원 언어를 위한 유사한 자원을 개발하는 확장 가능한 접근법을 제시한다.