합의 착시: 뉴스가 많아질수록 LLM 예측은 덜 정확해진다
The Corroboration Illusion: When More News Makes LLM Forecasts Less True
한국어 초록
대규모 언어 모델(LLM)은 뉴스를 검색하고 이를 바탕으로 추론하여 실제 사건을 예측하는 데 점점 더 많이 활용되고 있다. 본 연구는 개방적이고 크롤링 가능한 뉴스 코퍼스에 대한 이러한 의존성이 새로운 공격 표면을 만든다는 점을 보인다. 검색기, 모델, 사용자 쿼리에 접근할 수 없고 단지 기사를 게재할 수만 있는 공격자도 예측기의 출력 확률을 체계적으로 움직일 수 있다. 우리는 확률적 예측기에 대한 뉴스 코퍼스 오염(news-corpus poisoning)을 형식화하는데, 이는 보정된 확률이 아니라 사실적 답변이나 의견의 극성을 겨냥하는 기존 RAG 오염과는 구별되는 위협 모델이다. 우리는 엄격한 크롤링 날짜 기준을 적용한 1,740만 건 규모의 Common Crawl News 코퍼스를 대상으로, 오픈 7-8B 모델 기반의 검색-증강 예측기 3종을 사용하여 해결이 완료된 ForecastBench 질문 500개에 대해 이 공격을 평가한다. 질문당 LLM이 작성한 기사 한 편만으로도 예측의 56%가 0.5 경계를 넘어 뒤집히며, 기사 다섯 편은 69-73%를 뒤집고 중립 기사 플라시보를 제외한 순수 효과로 확률을 +0.13에서 +0.22만큼 이동시켜 Brier 점수를 0.18에서 0.37로 악화시킨다. 이 효과는 주입된 기사의 수, 검색 순위, 쿼리 유사도, 컨텍스트 점유 비율에 따라 단조롭게 증가하고, 모델 계열 간에도 전이되며, 표기된 발행처와는 무관하다. 이어 출처 허용 목록, 격리 후 집계 방식의 예측, 퍼플렉서티 필터링이라는 세 가지 자연스러운 방어책을 평가하고, 각각 위조된 발행처, 다수 오염, 더 높은 온도(temperature)의 생성이라는 저비용 우회 방법이 있음을 보인다. 이러한 결과는 확률적 LLM 판단이 자신이 소비하는 정보 공급망의 취약성을 고스란히 물려받는다는 점을 시사한다.
원문 초록
Large language models (LLMs) are increasingly used to forecast real-world events by retrieving and reasoning over news. We show that this dependence on an open, crawlable news corpus creates a new attack surface: an adversary who can merely publish articles--without access to the retriever, the model, or the user's queries--can systematically move the forecaster's output probabilities. We formalize news-corpus poisoning of probabilistic forecasters, a threat model distinct from prior RAG poisoning, which targets factual answers or opinion polarity rather than calibrated probabilities. We evaluate the attack on 500 resolved ForecastBench questions against a 17.4M-article Common Crawl News corpus with a strict crawl-date cutoff, using three retrieval-augmented forecasters built on open 7-8B models. A single LLM-written article per question flips 56% of forecasts across the 0.5 boundary; five articles flip 69-73% and shift probabilities by +0.13 to +0.22 net of a neutral-article placebo, degrading the Brier score from 0.18 to 0.37. The effect is monotone in the number, retrieval rank, query similarity, and context share of injected articles, transfers across model families, and is unaffected by the claimed publisher. We then evaluate three natural defenses--source allow-lists, isolate-then-aggregate forecasting, and perplexity filtering--and show that each has a cheap bypass: spoofed publishers, majority poisoning, and higher-temperature generation, respectively. Our results indicate that probabilistic LLM judgments inherit the full fragility of the information supply chain they consume.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22246v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.