TrendFact: 자동 팩트체킹에서 핫스팟 인식을 위한 벤치마크
TrendFact: A Benchmark Towards Hotspot Perception in Automatic Fact-Checking
온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.