arXiv:2607.01824v1 cs.LG

Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking

Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo

제출 2026-07-02

원문 초록

Crowdsourced fact-checking systems have been adopted by major social media companies such as X, Meta, TikTok and Google with the aim of combating misleading information at scale without relying on centralized editorial control. These systems have been developed around a common underlying concept: a bridging mechanism that identifies notes flagging misleading information when they receive support from people with different perspectives rather than simple majority support. To our knowledge the only publicly disclosed bridging algorithms deployed for fact-checking are based on matrix factorization, as deployed by both X and Meta, augmented with additional components addressing abuse, targeted manipulation, and contributor brigades. This work examines the core matrix factorization portion of these systems, presenting theoretical and empirical evaluations of the degree to which coordinated users could vote strategically by leveraging the latent representations to fabricate the appearance of synthetic consensus within the bridging mechanism. Using historic production data, we find that up to 10.7% of lower quality notes could be manipulated above consensus thresholds using less than 10 ratings. We complement these findings with a theoretical analysis, revealing counterintuitively that rating a note as "Not Helpful" can increase its helpfulness score, as well as a cost model quantifying manipulation effort. We have developed and deployed mitigations within X's Community Notes algorithm to address synthetic consensus.

요약

X, Meta 등 주요 소셜미디어가 채택한 크라우드소싱 팩트체킹 시스템의 핵심인 행렬 분해(matrix factorization) 기반 브리징(bridging) 알고리즘이 조율된 계정 그룹에 의해 조작될 수 있음을 이론적·실증적으로 분석한 연구로, 실제 프로덕션 데이터에서 10개 미만의 평점만으로 하위 품질 노트의 최대 10.7%를 합의 임계값 이상으로 끌어올릴 수 있음을 보였다. 역직관적으로 "도움 안 됨(Not Helpful)" 평점이 오히려 노트의 유용성 점수를 높일 수 있다는 이론적 분석과 공격 비용 모델도 함께 제시하며, X의 Community Notes 알고리즘에 완화 조치를 개발·배포했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01824v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00430v1cs.SI공통 태그 Adversarial Attack, Misinformation

밈적 트로이목마: 에이전트 네트워크에서 적대적 페이로드의 매개체로서의 사회적 전염

Memetic Trojans: Social Contagions as Carriers of Adversarial Payloads in Agent Networks

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.

arXiv:2610.00341v1cs.CR공통 태그 Adversarial Attack, Misinformation

UnifiedAttack: 시너지 유해 이미지-텍스트 생성에서 대규모 멀티모달 모델의 안전성 평가

UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation

대규모 멀티모달 모델(LMM)이 네이티브 통합 아키텍처로 전환됨에 따라, 시너지 효과를 내는 유해 이미지-텍스트 생성 작업에서 이들의 안전성을 평가하는 것은 중요한 과제가 되었습니다. 단일 모달 위협과 달리, 시너지 위험은 텍스트와 이미지 모달리티가 조율되어 개별 구성 요소를 크게 초과하는 유해성을 생성할 때 발생합니다. 본 논문에서는 크로스 모달 시너지를 통해 달성되는 유해성 이득에 초점을 맞추어 협력적 시나리오에서 LMM 안전성을 평가하도록 설계된 새로운 벤치마크인 UnifiedAttack을 소개합니다. 이 벤치마크는 멀티모달 잠재력을 기준으로 필터링된 샘플과 함께 합성된 허위 정보 쿼리의 새로운 하위 집합을 포함합니다. 식별된 취약점을 검증하기 위해, 문맥 내 리스킨(In-Context Reskinning, ICR)과 인지 계획 주입(Cognitive Planning Injection, CPI)을 특징으로 하는 시너지 하이재킹 프레임워크를 제안합니다. ICR은 퓨샷(few-shot) 학습을 활용하여 적대적 의도를 무해한 가상 외피로 감싸 안전성 필터를 둔감화하며, CPI는 계획 후 실행(plan-then-execute) 패러다임을 강제하여 추론 경로를 가로챕니다. 시스템이 중립적인 논리적 계획을 따르도록 강제함으로써, 내부의 일관성 유지 성향을 악용하여 유해한 멀티모달 콘텐츠의 동기화된 생성을 유도합니다. 최신 아키텍처에 대한 광범위한 평가는 UnifiedAttack이 현대의 정렬(alignment)을 일관되게 우회함을 보여줍니다. 본 연구 결과는 통합 모델의 구조적 유용성과 논리적 일관성이 체계적으로 무기화될 수 있음을 밝히며, 시너지 생성 작업에서 논리 인식 방어의 시급한 필요성을 강조합니다. 코드는 https://github.com/bingjunluo/UnifiedAttack 에서 확인할 수 있습니다.

arXiv:2607.23514v1cs.CL공통 태그 Misinformation, fact-checking

새로운 주장인가, 데jà vu인가? 다중모달 자동 팩트체킹을 위한 "오염 없음" 동적 평가 재검토

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

다중모달 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존 정적 벤치마크 대부분은 오염(contamination) 위험이 있다. 이들은 주로 외부 증거 없이 대규모 언어 모델(LLM)의 내부 지식만으로 검증 가능한 오래된 주장으로 구성되어 있다. 이는 성능 추정치를 부풀리고, 최신 정보가 필요한 새로운 주장에 대한 실제 역량을 반영하지 못할 수 있다. 이를 해결하기 위해 등장하는 동적 벤치마크는 LLM의 지식 컷오프(knowledge cut-off) 날짜 이후에 발표된 주장을 수집하며, 이를 오염되지 않은 것으로 가정한다. 본 연구는 최신(SOTA) 정적 벤치마크 AVeriTeC와 새로 구축한 동적 벤치마크 ClaimReview2025Q4 모두에서 오염 위험과 MAFC 평가에 미치는 영향을 실증적으로 조사하여 이 가정을 재검토한다. 실험 결과 16가지 발견이 도출되었으며, 그중 세 가지 핵심 결과는 다음과 같다. (1) 동적 평가는 오염 위험을 줄이지만 제거하지는 못하며, 컷오프 이후 주장의 17.09%--29.30%는 여전히 잠재적으로 오염되어 있을 수 있다. (2) 많은 새로 발표된 주장은 컷오프 이전에 이미 공개된 여러 공개 지식을 종합하여, 또는 직접 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발할 수 있으며, Macro-F1을 최대 11.34점까지 상승시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격히 오염이 통제된 설정에서 SOTA LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.

arXiv:2607.23838v1cs.CR공통 태그 Adversarial Attack, Misinformation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.15267v1cs.AI공통 태그 Adversarial Attack, Misinformation

사전학습 데이터는 계산적 선전(computational propaganda)을 통해 오염될 수 있다

Pretraining Data Can Be Poisoned through Computational Propaganda

사전학습 데이터를 오염시키면 언어 모델(LM)에 탐지·완화하기 어려운 유해 행동을 유발할 수 있다. 기존 사전학습 데이터 오염(poisoning) 연구는 대부분 Wikipedia와 같은 정립된 데이터 소스를 활용해 왔는데, 이는 사전학습 코퍼스(pretraining corpus)에 흔한 대규모·이질성을 반영하지 못하며, 오염된 데이터와 데이터 큐레이션(data curation) 파이프라인 간 상호작용은 간과해 왔다. 우리는 공개 토론 인터페이스(public discussion interface)라는 기존의 웹 규모 콘텐츠 주입 메커니즘을 통해, 이러한 제한된 설정을 넘어서도 사전학습 데이터에 대한 오염 공격이 실현 가능함을 보인다. 또한 웹 크롤링(web crawling)과 데이터 큐레이션 이후 악성 콘텐츠가 포함되는지 측정하기 위해, 웹 크롤 기반 LM 학습 데이터에서 적대적(adversarial) 콘텐츠 포함 여부를 추정하는 새로운 분석 방법인 HalfLife를 제안한다. HalfLife를 사용해 공개 토론 인터페이스를 통해 웹 규모로 사전학습 코퍼스를 오염시키는 것의 실현 가능성을 탐구한다. 분석 결과, 오염 주입이 사전학습 데이터에 포함되는지 추정하는 일의 중요성을 보여 주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전학습을 공격할 수 있는 가능한 경로(vector)임을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.