arXiv:2607.02383v3 cs.CL

MEDIAREF: A Public Knowledge Store for Media Background Checks

Benjamin Nichols, Michael Schlichtkrull, Nedjma Ousidhoum

제출 2026-07-02

원문 초록

LLM-based retrieval-augmented generation (RAG) is increasingly used for automated fact-checking (AFC) and related tasks. By grounding LLM outputs in retrieved evidence, RAG-based systems provide transparent justifications while allowing external information to be updated independently of the underlying model. However, existing approaches often assume retrieved evidence is reliable, although real-world information may be conflicting, outdated, and can originate from unreliable or biased sources. Recent work on *source-critical reasoning* addresses this challenge through media background checks (MBCs) (Schlichtkrull, 2024), which assess the credibility of evidence sources to support downstream fact verification. However, generating MBCs relies on costly proprietary search APIs, limiting reproducibility. To mitigate this issue, we introduce MEDIAREF, a publicly available knowledge store of web-sourced documents that enables reproducible, low-cost evaluation of MBC generation across 200 media sources. We describe a reproducible methodology for constructing and updating the collection, assess widely used LLMs on the MBC generation task, and demonstrate that MEDIAREF supports higher-quality MBC generation through both automatic and qualitative evaluation.

요약

자동 팩트체킹(AFC)에서 검색-증강 생성(RAG) 시스템이 출처의 신뢰성을 검증 없이 그대로 활용하는 문제를 해결하기 위해, 200개 미디어 출처에 대한 미디어 배경 정보(Media Background Check) 생성을 재현 가능하고 저비용으로 평가할 수 있는 공개 지식 저장소 MEDIAREF를 제안한다. MEDIAREF를 활용해 다양한 대규모 언어 모델(LLM)을 평가한 결과, 외부 정보 검색을 결합했을 때 자동 및 정성 평가 모두에서 더 정확한 미디어 배경 정보가 생성됨을 확인했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02383v3제출 시각 미확인
  2. arXiv:2607.02383v2제출 시각 미확인
  3. arXiv:2607.02383v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23838v1cs.CR공통 태그 Misinformation, RAG, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.22584v1cs.AI공통 태그 Misinformation, RAG, Retrieval-augmented Generation

검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법

Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.

arXiv:2607.11783v1cs.CL공통 태그 Misinformation, RAG, Retrieval-augmented Generation

온도가 검색-증강 생성에서 이념적 담론을 형성하는 방식

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

검색-증강 생성(RAG)은 환각(hallucination)을 줄이고 대규모 언어 모델(LLM)의 사실적 그라운딩(grounding)을 강화하기 위해 점점 더 널리 채택되고 있다. 검색 과정의 오류에 대한 강건성은 탐구된 바 있으나, 이념적 바이어스가 LLM 출력에 미치는 영향은 간과되어 왔다. 예를 들어, 검색된 자료에 이념적 입장이 포함된 경우, RAG는 그러한 이념적 담론을 출력에서 전달하거나 증폭시키거나 억제할 수 있다. 본 연구에서는 이념적 담론을 포함하는 RAG 프레임워크가 LLM 생성 답변에 미치는 영향을 분석함으로써 이 문제를 다룬다. 이를 위해 1,117개의 COVID-19 치료 관련 기사로 구성된 코퍼스에 어휘 다차원 분석(Lexical Multidimensional Analysis, LMDA)을 적용하여 세 가지 이념적 담론을 식별하였다. 이 코퍼스는 RAG의 외부 지식 소스로 활용된다. 여러 LLM이 서로 다른 샘플링 온도(sampling temperature)에서 이념적 질문에 답변하도록 하여 평가하였다. 생성된 텍스트는 이념적 참조 텍스트와의 유사도를 기준으로 의미적·어휘적으로 평가되었다. 연구 결과, RAG 프레임워크는 이념적 담론을 LLM 응답으로 전달하는 경향이 있으며, 샘플링 온도가 이 전달의 강도에 측정 가능한 영향을 미치는 것으로 나타났다. 생성된 답변과 참조 텍스트 간의 담론적 정렬(discoursive alignment)은 중간 온도에서 가장 높게 나타났는데, 이는 모델이 확률적 특성과 검색 그라운딩 사이에서 균형을 이루는 구간이다. 반면 낮은 온도에서는 담론 전달이 감소하여, 지나치게 결정론적인 샘플링이 담론 전달을 억제함을 시사한다.

arXiv:2607.05217v2cs.CY공통 태그 Misinformation, RAG, Retrieval-augmented Generation

공공 AI 정보 서비스에서 큐레이션 검색 대 오픈 웹 검색: 커버리지-신뢰도 트레이드오프

Curated retrieval versus open web search in public AI information services: a coverage-trust trade-off

공공 기관들은 시민들의 질문에 답하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 활용하고 있으며, 이때 큐레이션된 지식 베이스와 실시간 웹 검색을 함께 사용하는 경우가 많다. 그러나 이러한 답변의 근거가 되는 출처를 신뢰할 수 있는지에 대해서는 실증적 검토가 거의 이루어지지 않았다. 본 연구는 아이슬란드가 2026년 8월 29일 EU 가입 협상 재개 여부에 관한 국민투표를 준비하는 시점에 실시된, 유럽연합 관련 질문에 답하는 아이슬란드 대학교 운영의 독립적·정부 지원 서비스인 Evrópuvefur의 출시 전 전문가 평가 결과를 보고한다. 5명의 분야 전문가가 449개의 AI 생성 답변에 대해 551건의 평가를 수행했으며, 7개 기준으로 구성된 품질 루브릭에 따라 각 답변을 채점하고 인용된 개별 출처에 대해 별도로 플래그를 지정하였다. 우리는 두 가지 검색 경로를 비교했다: 큐레이션된 로컬 코퍼스(RAG)와 오픈 웹 검색. 검토된 웹 검색 답변의 3분의 1 이상(35%, 187건 중 65건)에서 하나 이상의 인용 출처가 플래그 지정되었으며, 거의 대부분 신뢰할 수 없거나 관련 없는 출처로 분류되었다. 큐레이션된 출처는 훨씬 드물게 플래그가 지정되었고, 지정된 경우는 오래된 정보에 한정되었다. 웹 검색은 더 많은 질문에 답할 수 있었지만 출처 품질의 저하를 감수해야 했다. 큐레이션된 코퍼스는 신뢰할 수 있었지만 커버리지가 제한적이었고, 모델은 해당 코퍼스가 부족할 경우 응답을 거부하였다. 또한 인용 구성에서 강력한 출처가 간과되는 현상도 나타났다. 287건의 웹 검색 답변 전체에서 시스템은 아이슬란드 공영 방송사이자 국내 최다 이용 뉴스 출처인 RÚV를 한 번도 인용하지 않았다. 함께 수행한 프롬프트 절제 실험(ablation)은 프롬프트 수준의 조정이 얼마나 약한지를 보여준다. 시스템 프롬프트에 신뢰 도메인 목록을 추가했을 때 해당 도메인에 대한 인용 비율은 12%에서 21%로 소폭 상승하는 데 그쳤다. 유창성과 주제 적합성은 출처 신뢰도를 예측하지 못했다. 우리는 출처 신뢰도가 공공 AI 서비스의 정보 품질에서 측정 가능하지만 대체로 가시화되지 않는 차원임을 주장하고, 투명성 지향적 대응 방안과 그 트레이드오프를 논의한다.

arXiv:2607.05069v1cs.CL공통 태그 Misinformation, RAG, Retrieval-augmented Generation

MIRAGE: 허위정보 오염에 대한 장문형 RAG 방어

MIRAGE: Defending Long-Form RAG Against Misinformation Pollution

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)을 외부 증거에 그라운딩하여 사실성을 향상시키지만, 실세계 검색은 종종 오염되어 있다. 의미적으로 관련된 단락이 미묘한 허위정보, 오해를 유발하는 프레이밍, 또는 날조된 내용을 포함할 수 있다. 우리는 장문형 RAG를 위한 학습이 필요 없고 모델에 구애받지 않는 방어 기법인 MIRAGE를 소개한다. MIRAGE는 자연어 추론(NLI) 기반의 교차 문서 주장 그래프를 구축하고, Defended-Claims Gate를 적용하여 일관되고 다중 출처로 지지되는 부분 집합을 조건으로 생성하거나, 검색을 차단하고 파라메트릭 방식으로 답변하도록 한다. 또한 네 가지 변형 유형(명확한 오류, 상충되는 정보, 오해 유발, 날조)에 걸쳐 최소 편집 오염 프로토콜을 공개하여, 일치하는 정결한, 혼합된, 완전히 오염된 평가 체계를 구성한다. 네 가지 장문형 QA 벤치마크와 여러 상용 및 오픈 가중치 LLM에 걸쳐, 오염은 기본 RAG의 성능을 심각하게 저하시키는 반면, MIRAGE는 혼합 및 완전히 오염된 증거 환경에서 일관되게 사실성을 회복하고 기존의 강건한 RAG 방법들을 능가한다. 구현 코드와 데이터셋은 https://github.com/SaadElDine/MIRAGE 에서 공개된다.

arXiv:2607.04718v1cs.AI공통 태그 Misinformation, RAG, Retrieval-augmented Generation

FORGE: 딥 리서치 에이전트에 대한 연구 궤적 하이재킹 공격

FORGE: Research-Trajectory Hijacking Attacks on Deep Research Agents

딥 리서치 에이전트(deep research agents)는 개방형 쿼리를 서브태스크로 분해하고, 여러 라운드에 걸쳐 웹 증거를 검색하며, 장문의 보고서를 합성한다. 이 워크플로우는 계획 층(planning-layer) 포이즈닝 표면을 만들어 낸다: 검색 풀에 유입된 적대적 문서가 후속 질문을 유도하고, 로컬 주입을 보고서 수준의 오염으로 확대할 수 있다. 우리는 서브태스크 계획을 하이재킹하기 위해 문서 내 추론 조작(intra-document reasoning fabrication)과 문서 간 체인 조율(inter-document chain coordination)을 결합한 2단계 공격인 FORGE(Fabricated Orchestrated Reasoning chain for aGent Exploitation)를 제시한다. 아울러 감염된 보고서의 주장을 인지 유형별로 가중치를 부여하여 측정하는 PRISM 지표와, 재귀적 후속 질문 생성을 루트 쿼리에 연결하는 경량 방어 기법인 루트 쿼리 앵커링(Root Query Anchoring, RQA)을 제안한다. 25개의 쿼리 실험에서 Network FORGE는 5개의 주입 문서로 PRISM 26.4%를 달성하며 깊이 이동(depth migration) 현상을 보인다. 이는 재귀적 합성 과정에서 오염된 콘텐츠가 명시적 프레이밍에서 사실적 전제로 이동하는 현상이다. 10개 쿼리로 구성된 방어 서브셋에서 RQA는 PRISM을 38.5%에서 18.3%로 감소시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.