전문 팩트체커는 주장을 검증하기 위해 도메인 지식과 깊은 문맥 이해에 의존한다. 대규모 언어 모델(LLM)과 대규모 추론 모델(LRM)은 그러한 그라운딩(grounding)이 부족하며 주로 이용 가능한 증거만으로 추론하기 때문에, 전문가 주도 검증과 완전 자동화된 주장 검증 사이에 불일치가 발생한다. 이러한 격차를 완화하기 위해, 실세계 지식과 도메인 전문성에 기반한 전문가 피드백이 모델의 추론을 안내하는 인간-AI 협업을 더 유망한 전진 경로로 제시한다. 그러나 기존 LRM은 특히 다중 턴 상호작용 설정에서 자연어 피드백에 맞게 조정하기 어렵다. 인간-AI 협업 주장 검증을 위한 프레임워크인 Co-FactChecker를 제안한다. 모델의 사고 추적(thinking trace)을 공유 스크래치패드(shared scratchpad)로 취급하는 새로운 상호작용 패러다임을 도입한다. Co-FactChecker는 전문가 피드백을 trace-edit으로 변환하여 추적에 대상화된 수정을 도입함으로써 대화 기반 상호작용의 단점을 우회한다. trace-editing이 다중 턴 대화보다 장점을 제공함을 보이는 이론적 결과를 제공하며, 자동 평가를 통해 Co-FactChecker가 기존 자율형 및 인간-AI 협업 접근법을 능가함을 보여준다. 인간 평가는 또한 Co-FactChecker가 다중 턴 대화보다 선호되며, 상대적으로 해석하기 쉽고 더 유용한 사고 추적과 함께 더 높은 품질의 추론과 판정을 생성함을 보여준다.
자동 팩트체킹(AFC)에서 검색-증강 생성(RAG) 시스템이 출처의 신뢰성을 검증 없이 그대로 활용하는 문제를 해결하기 위해, 200개 미디어 출처에 대한 미디어 배경 정보(Media Background Check) 생성을 재현 가능하고 저비용으로 평가할 수 있는 공개 지식 저장소 MEDIAREF를 제안한다. MEDIAREF를 활용해 다양한 대규모 언어 모델(LLM)을 평가한 결과, 외부 정보 검색을 결합했을 때 자동 및 정성 평가 모두에서 더 정확한 미디어 배경 정보가 생성됨을 확인했다.
다중모달 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존 정적 벤치마크 대부분은 오염(contamination) 위험이 있다. 이들은 주로 외부 증거 없이 대규모 언어 모델(LLM)의 내부 지식만으로 검증 가능한 오래된 주장으로 구성되어 있다. 이는 성능 추정치를 부풀리고, 최신 정보가 필요한 새로운 주장에 대한 실제 역량을 반영하지 못할 수 있다. 이를 해결하기 위해 등장하는 동적 벤치마크는 LLM의 지식 컷오프(knowledge cut-off) 날짜 이후에 발표된 주장을 수집하며, 이를 오염되지 않은 것으로 가정한다. 본 연구는 최신(SOTA) 정적 벤치마크 AVeriTeC와 새로 구축한 동적 벤치마크 ClaimReview2025Q4 모두에서 오염 위험과 MAFC 평가에 미치는 영향을 실증적으로 조사하여 이 가정을 재검토한다. 실험 결과 16가지 발견이 도출되었으며, 그중 세 가지 핵심 결과는 다음과 같다. (1) 동적 평가는 오염 위험을 줄이지만 제거하지는 못하며, 컷오프 이후 주장의 17.09%--29.30%는 여전히 잠재적으로 오염되어 있을 수 있다. (2) 많은 새로 발표된 주장은 컷오프 이전에 이미 공개된 여러 공개 지식을 종합하여, 또는 직접 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발할 수 있으며, Macro-F1을 최대 11.34점까지 상승시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격히 오염이 통제된 설정에서 SOTA LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.
웹 도메인 신뢰도 평가는 허위 정보 대응에 필수적이다. 이는 도메인 유형, 투명성, 전반적인 평판 등의 요소를 검토하여 수행된다. 그러나 새롭게 등장하는 웹 도메인은 아직 평판이 없어 신뢰도 평가가 어렵다. 전문 팩트체커들은 허위 정보, 바이어스, 또는 프로파간다의 존재 여부를 포함한 기사 내용을 분석하여 도메인 신뢰도를 평가한다. 그러나 대규모 언어 모델(LLM)이 가능하게 한 대규모 콘텐츠 생성의 용이성은 새로운 콘텐츠 생성을 가속화하여 수동 평가를 불충분하게 만들었으며, 도메인 신뢰도 평가를 위한 자동화된 접근 방식의 필요성을 부각시킨다. 본 논문에서는 전문가 평가에 기반한 도메인 신뢰도 평가를 위한 시간적 프레임워크인 도메인 신뢰도 평가 프레임워크(DCEF, Domain Credibility Evaluation Framework)를 소개한다. DCEF는 소스 도메인 자체에 대한 사전 지식 없이 전문 팩트체커의 워크플로우를 따라 게시된 기사로부터 웹 도메인의 신뢰도를 평가할 수 있는지 조사하는 것을 가능하게 한다.
온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.
X, Meta 등 주요 소셜미디어가 채택한 크라우드소싱 팩트체킹 시스템의 핵심인 행렬 분해(matrix factorization) 기반 브리징(bridging) 알고리즘이 조율된 계정 그룹에 의해 조작될 수 있음을 이론적·실증적으로 분석한 연구로, 실제 프로덕션 데이터에서 10개 미만의 평점만으로 하위 품질 노트의 최대 10.7%를 합의 임계값 이상으로 끌어올릴 수 있음을 보였다. 역직관적으로 "도움 안 됨(Not Helpful)" 평점이 오히려 노트의 유용성 점수를 높일 수 있다는 이론적 분석과 공격 비용 모델도 함께 제시하며, X의 Community Notes 알고리즘에 완화 조치를 개발·배포했다.
현대 사회에서 허위정보(disinformation)의 위협은 전자 통신, 소셜 미디어의 확산 및 인공지능의 발전으로 인해 심각한 수준에 이르렀다. 이에 따라 이 위협을 완화할 효과적인 대응책 개발이 시급하다. 그러나 문제의 규모가 방대하여 수작업 팩트체킹(fact-checking) 및 인간 기반 검증은 역부족이며, 허위정보를 탐지하고 반박하는 자동화된 방법의 필요성이 강조된다. 본 논문은 허위정보 탐지 작업에 참여하는 인간 어노테이터(annotator)의 의사결정 과정을 모방하는 멀티 에이전트 시스템에 기반한 새로운 접근법을 제안한다. 인간 어노테이터의 행동에서 영감을 받아 합의 메커니즘, 인지적 다양성 및 지식의 다양성, 그리고 계층적 구조를 통합함으로써, 제안된 방법은 GPT-4 및 GPT-3.5를 포함한 개별 대규모 언어 모델(LLM)과 비교하여 우수한 결과를 달성한다. 이 시스템은 더 높은 투명성을 보장하기 위해 오픈 모델(예: LLaMA, Kimi, Qwen, Deepseek, LLaMA-Nemotron)을 활용한다. 제안된 방법의 평가는 영어(고자원), 폴란드어(중자원), 슬로바키아어(저자원), 불가리아어(저자원) 등 자원 가용성이 다양한 언어의 데이터셋을 포함한다. 실험은 직접적인 허위정보 탐지, 검증이 필요한 텍스트 식별, 검증 가능한 사실적 주장을 포함하는 텍스트 탐지 등의 과제에 대해 수행되었다.
온라인 플랫폼에서 허위 및 오해를 유발하는 정보의 급속한 확산은 점점 심각해지는 사회적 문제로, 수동 팩트체킹의 처리 능력을 초과하고 확장 가능하고 신뢰할 수 있는 자동화에 대한 수요를 증가시키고 있다. 생성형 대규모 언어 모델(LLM)의 최근 발전은 자동화된 팩트체킹의 범위를 정확도 중심의 예측을 넘어 확장시켰다. LLM은 이제 팩트체킹 파이프라인의 핵심 구성 요소로서, 새로운 데이터 생성, 팩트 검증 수행 및 보조, 팩트체킹 시스템의 평가 방식 형성 등의 태스크를 지원한다. 본 서베이는 199편의 연구 논문에 대한 체계적 검토를 바탕으로, 자동화된 팩트체킹에서 생성형 LLM의 역할에 대한 포괄적인 개요를 제공한다. 우리는 생성형 LLM이 팩트체킹 워크플로에 통합되는 방식을 포착하는 통합 분류 체계를 제시하고, 핵심 팩트체킹 태스크, 데이터셋 구성 및 증강 전략, 태스크 형식화, 평가 방식 전반에 걸친 LLM의 활용을 분석한다. 또한 다국어 및 저자원 환경에서 생성형 LLM의 팩트체킹에 대한 영향을 조사하며, 현재 연구의 동향, 한계, 공백을 조명한다. 단편화된 연구 성과를 통합하고 방법론적 패턴, 한계, 미해결 과제를 식별함으로써, 본 서베이는 자동화된 팩트체킹에서 생성형 LLM의 현재 상태를 지도화한다. 이 서베이는 연구자들이 보다 신뢰할 수 있고, 해석 가능하며, 포용적인 팩트체킹 시스템을 개발하는 데 기여하는 동시에, 빠르게 발전하는 이 분야에서 미래 연구의 유망한 방향을 제시하는 것을 목표로 한다.
Hybrid Fact-Checking that Integrates Knowledge Graphs, Large Language Models, and Search-Based Retrieval Agents Improves Interpretable Claim Verification
대규모 언어 모델(LLM)은 유창한 발화 생성에 뛰어나지만, 검증된 정보에 대한 신뢰할 수 있는 그라운딩이 부족할 수 있다. 한편, 지식 그래프 기반 사실 확인기는 정밀하고 해석 가능한 근거를 제공하지만, 커버리지 부족이나 지연이라는 한계를 겪는다. LLM, 지식 그래프, 실시간 검색 에이전트를 통합하여 각 구성 요소의 강점을 활용하는 하이브리드 사실 확인 접근법을 제안한다. 우리 시스템은 세 가지 자율적 단계로 구성된다: 1) DBpedia에서 빠른 1-hop 조회를 위한 지식 그래프(KG) 검색(retrieval), 2) 작업별 라벨링 프롬프트로 유도되는 LM 기반 분류(classification)로 내부 규칙 기반 논리에 따라 출력을 생성하는 단계, 3) KG 커버리지가 불충분할 때에만 호출되는 웹 검색 에이전트. 우리 파이프라인은 작업별 미세조정(fine-tuning) 없이 FEVER 벤치마크의 Supported/Refuted 분할에서 F1 점수 0.93을 달성한다. '정보 부족(Not enough information)' 사례를 다루기 위해 표적 재주석 연구를 수행하였으며, 이 접근법이 원래 '정보 부족(Not Enough Information, NEI)'으로 라벨링된 주장에 대해 유효한 근거를 자주 발견함을 보였다. 이는 전문가 주석자와 LLM 검토자 모두에 의해 확인되었다. 본 논문에서는 폴백 전략과 데이터셋 간 일반화를 갖춘 모듈형 오픈소스 사실 확인 파이프라인을 제시한다.
가짜 뉴스의 급속한 확산은 정보 생태계에 점점 더 큰 위협을 가하며, 특히 생성형 엔진 최적화(Generative Engine Optimization, GEO) 중독(poisoning) 하의 AI 생성 허위정보는 적대적으로 조작된 콘텐츠가 검색 시스템에 의해 체계적으로 노출되어 대규모 언어 모델(LLM) 추론을 오염시킬 수 있게 한다. 본 논문에서는 자동 팩트체킹(fact-checking)을 위한 계층적 증거 추론 프레임워크인 Tree of Evidence(ToE)를 제안하며, 각 주장을 동적으로 확장되는 논증 트리(argument tree)로 모델링한다. ToE는 강화학습(reinforcement learning) 기반 다중 출처 검색 에이전트, 증거 평가 에이전트, 논증 트리 집계 알고리즘을 통합하여 설명 가능한 증거 사슬(evidence chain)을 통해 주장을 반복적으로 분해·검색·검증한다. 또한 검색 과程에 대한 이론적 분석을 제공하여, 학습된 정책이 정보 이론적으로 최적인 정책의 근방(neighborhood)으로 수렴함을 보장하는 형식적 오차 상계(error bound)를 도출한다. 여러 데이터셋과 백본 LLM에 걸친 실험에서 ToE는 경쟁 기준선 대비 4~24 percentage points의 개선을 달성했으며, 특히 적대적 중독(adversarially poisoned) 입력에서 두드러진 성능 향상을 보였다.
In recent years, the posting of fake news including disinformation and misinformation on social networking services (SNS) has become a social problem. To combat this fake news, fact-checking that is the process of assessing the veracity of posts on SNS has become increasingly important. While fact-checking is currently performed by fact-checking organizations, it is difficult to fact-check all posts on SNS. Therefore, the use of automated fact-checking systems is effective. Recent automated fact-checking systems utilize artificial intelligence and large language models, so there are risks of incorrect judgments and posting incorrect results on social media which can lead to the spread of misinformation or to engage in defamation. In this paper, as a first step toward enabling the safe use of automated fact-checking systems, we categorize the specific risks on automated fact-checking systems. In this categorizing, we consider a three-stage risk propagation: risk factors, hazardous situations, and harm. Our analysis revealed that 32 specific risks exist in automated fact-checking systems. In this paper, we utilize the categorized risks as analytical cues (guide words) to present the risk assessment of the automated fact-checking system DEFAME. This assessment result indicates that risks that cannot be derived using STRIDE, a conventional IT security risk assessment method can be derived using our guide words.
LLM 기반 사실 검증은 벤치마크 판정 정확도는 높지만 인용 근거가 주장을 정당화하지 못하는 Supports를 내는 보증(warrant) 격차가 있다. 5W1H로 추출한 근거 구간을 전체 주장에 대해 재평가하는 SIFT와 NLI 기반 허용성 지표 WSP를 제안해 FEVER·SciFact·5PILS·DP에서 naive 분해로 최대 27.6%p 손실된 정확도를 회복하고, WSP는 인간 골드 근거 대비 AUC 0.92·정밀도 0.98로 보정된다.
Multimodal misinformation detection is increasingly important because viral posts now combine long multilingual narratives, several images, mixed provenance, and subtle text--image framing errors. Existing benchmarks and methods remain poorly matched to this setting: they usually isolate short captions, single images, binary labels, or one manipulation source, while agentic verification remains costly under realistic evidence search. We present ReMMD, a realistic multilingual multi-image agentic verification framework for multimodal misinformation detection. ReMMD includes ReMMDBench, a real-world multimodal misinformation detection benchmark with 500 samples, 2,756 images, five monolingual languages, two cross-lingual settings, three text-length tiers, multi-image posts, five-way veracity labels, eight distortion labels, evidence provenance, and rationales. It also includes ReMMD-Agent, a persistent-memory verifier that decomposes posts into atomic points, builds a reusable evidence set, and predicts structured L1/L2/L3 outputs. Across proprietary systems, open LVLMs, MMD-Agent, and T2-Agent, ReMMD-Agent obtains the best five-way veracity performance, with 41.80% accuracy and 39.12% macro-F1 using GPT-5.2, while reducing cost by 17.5% relative to MMD-Agent and 79.9% relative to T2-Agent. The project is available at https://dang-ai.github.io/ReMMD.
복합 문장을 원자적이고 검증 가능한 주장(claims)으로 분해하는 것은 신뢰할 수 있는 자동화된 팩트 체킹(fact-checking)을 위한 필수 조건입니다. 기존 연구는 의역된 주장(claims)에 대해 분해 품질을 체계적으로 과소평가하는 토큰 중첩(Jaccard) 지표(metrics)에 의존해 왔으며, 수정 루프에 대한 정식 종료 분석이 부족했습니다. 우리는 이러한 두 가지 단점을 해결하는 개선된 주장 분해 및 평가 프레임워크인 Credence를 제시합니다. 우리의 기여는 다음과 같습니다: (1) Semantic-F1: Jaccard의 불이익을 해결하고 다운스트림 팩트 체킹(fact-checking) 정확도를 향상시키는 BGE-large 코사인 유사도 충실도 지표(metric)를 사용합니다; (2) 수렴 정리: 수정 파이프라인의 네 가지 속성을 정식으로 특성화하여, 오라클 파서(parser) 가정 하에서 규칙 기반 수정은 단조(monotone)이며 유한하게 종료됨을 확립합니다; LLM 기반 자가 수정은 증명 가능하게 비단조적이며 조기 종료 가드(guard)가 필요합니다; (3) 교차 도메인 일반화 측정을 위한 소셜 미디어, 백과사전, 뉴스 도메인에 걸친 세 가지 평가 벤치마크(benchmarks); (4) 네 개의 분해 모델(models) (3.8B-12B)과 하나의 폐쇄형 API 모델(model)에 걸친 다중 모델 벤치마킹. SocialClaimSplit, WikiSplitBench, ClaimDecompBench에 대한 실험 결과, Semantic-F1이 Jaccard-F1보다 +15-32pp 더 우수한 성능을 보여주었습니다. SocialClaimSplit 및 WikiSplitBench에서 EPR은 0.94에서 1.00 사이의 범위를 가지는 반면, ClaimDecompBench는 더 어려운 뉴스 도메인 구조로 인해 더 낮은 기본 EPR 사례(최저 0.824)를 포함하며, 규칙 기반 수정은 충실도를 저하시키지 않으면서 기본 모델(model) 대비 원자성 위반율(AVR)을 47-100% 감소시킵니다.
RAG 기반 사실 검증(fact-checking)에서 대규모 언어 모델(LLM)은 검색된 증거를 바탕으로 주어진 주장을 검증하는 검증기(verifier)로 점차 더 많이 사용되고 있습니다. 이들의 파라메트릭 지식은 검색된 컨텍스트(context)와 충돌할 수 있는 증거 이전 성향을 유발할 수 있으나, 기존 평가 프레임워크(framework)는 이러한 사전 지식-컨텍스트 불일치를 특성화하거나 검증기가 파라메트릭 신호와 컨텍스트 신호 사이에서 어떻게 중재하는지 측정하지 못합니다. 우리는 LLM 검증기를 증거 이전 사전 지식(prior)의 정확성과 신뢰도에 따라 4가지 인식 상태(epistemic states)로 분류하고, 이 새로운 벤치마크(benchmark)에서 중재 행동을 평가하는 진단용 테스트베드(testbed)인 PAVE(Prior-Aware Verifier Evaluation)를 소개합니다. 즉, 오도하는 증거 하에서 올바른 사전 지식을 유지하는지, 그리고 정확한 증거가 제공될 때 잘못된 사전 지식을 수정하는지를 평가합니다. 7개의 LLM에 대한 실험 결과, 사전 지식-컨텍스트 중재가 신뢰할 수 없으며 모델에 크게 의존적인 것으로 나타나, 실제 RAG 기반 사실 검증 애플리케이션에서 검증기 선택의 중요성을 강조합니다. 이러한 발견을 바탕으로, 우리는 기본 모델(model)을 수정하지 않고 사실적 신뢰성을 향상시키는 가벼운 JSD 기반 테스트 타임(test-time) 중재 방법을 제안하며, 이는 다양한 LLM 계열에서 경쟁력 있는 성능을 달성합니다.