PyTorchKR Papers

최신 논문

총 582편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.15135v5cs.CL

TrendFact: 자동 팩트체킹에서 핫스팟 인식을 위한 벤치마크

TrendFact: A Benchmark Towards Hotspot Perception in Automatic Fact-Checking

온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.

arXiv:2407.02351v3cs.CL

자동화된 팩트체킹에서의 생성형 대규모 언어 모델: 서베이

Generative Large Language Models in Automated Fact-Checking: A Survey

온라인 플랫폼에서 허위 및 오해를 유발하는 정보의 급속한 확산은 점점 심각해지는 사회적 문제로, 수동 팩트체킹의 처리 능력을 초과하고 확장 가능하고 신뢰할 수 있는 자동화에 대한 수요를 증가시키고 있다. 생성형 대규모 언어 모델(LLM)의 최근 발전은 자동화된 팩트체킹의 범위를 정확도 중심의 예측을 넘어 확장시켰다. LLM은 이제 팩트체킹 파이프라인의 핵심 구성 요소로서, 새로운 데이터 생성, 팩트 검증 수행 및 보조, 팩트체킹 시스템의 평가 방식 형성 등의 태스크를 지원한다. 본 서베이는 199편의 연구 논문에 대한 체계적 검토를 바탕으로, 자동화된 팩트체킹에서 생성형 LLM의 역할에 대한 포괄적인 개요를 제공한다. 우리는 생성형 LLM이 팩트체킹 워크플로에 통합되는 방식을 포착하는 통합 분류 체계를 제시하고, 핵심 팩트체킹 태스크, 데이터셋 구성 및 증강 전략, 태스크 형식화, 평가 방식 전반에 걸친 LLM의 활용을 분석한다. 또한 다국어 및 저자원 환경에서 생성형 LLM의 팩트체킹에 대한 영향을 조사하며, 현재 연구의 동향, 한계, 공백을 조명한다. 단편화된 연구 성과를 통합하고 방법론적 패턴, 한계, 미해결 과제를 식별함으로써, 본 서베이는 자동화된 팩트체킹에서 생성형 LLM의 현재 상태를 지도화한다. 이 서베이는 연구자들이 보다 신뢰할 수 있고, 해석 가능하며, 포용적인 팩트체킹 시스템을 개발하는 데 기여하는 동시에, 빠르게 발전하는 이 분야에서 미래 연구의 유망한 방향을 제시하는 것을 목표로 한다.