arXiv:2505.01900

CAMOUFLAGE: Exploiting Misinformation Detection Systems Through LLM-driven Adversarial Claim Transformation

Mazal Bethany, Nishant Vishwamitra, Cho-Yu Jason Chiang, Peyman Najafirad

제출 2025-05-03

원문 초록

Automated evidence-based misinformation detection systems, which evaluate the veracity of short claims against evidence, lack comprehensive analysis of their adversarial vulnerabilities. Existing black-box text-based adversarial attacks are ill-suited for evidence-based misinformation detection systems, as these attacks primarily focus on token-level substitutions involving gradient or logit-based optimization strategies, which are incapable of fooling the multi-component nature of these detection systems. These systems incorporate both retrieval and claim-evidence comparison modules, which requires attacks to break the retrieval of evidence and/or the comparison module so that it draws incorrect inferences. We present CAMOUFLAGE, an iterative, LLM-driven approach that employs a two-agent system, a Prompt Optimization Agent and an Attacker Agent, to create adversarial claim rewritings that manipulate evidence retrieval and mislead claim-evidence comparison, effectively bypassing the system without altering the meaning of the claim. The Attacker Agent produces semantically equivalent rewrites that attempt to mislead detectors, while the Prompt Optimization Agent analyzes failed attack attempts and refines the prompt of the Attacker to guide subsequent rewrites. This enables larger structural and stylistic transformations of the text rather than token-level substitutions, adapting the magnitude of changes based on previous outcomes. Unlike existing approaches, CAMOUFLAGE optimizes its attack solely based on binary model decisions to guide its rewriting process, eliminating the need for classifier logits or extensive querying. We evaluate CAMOUFLAGE on four systems, including two recent academic systems and two real-world APIs, with an average attack success rate of 46.92\% while preserving textual coherence and semantic equivalence to the original claims.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27064v1cs.CL공통 태그 Retrieval, Misinformation

팩트 검증 점수가 향상되면 무엇이 달라지는가? 학습된 검증기와 LLM 전반에 걸친 증거 및 답변 분해 분석

What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs

결합 팩트 검증 점수(joint fact-verification score)는 답변과 제출된 증거를 함께 평가한다. 점수가 향상될 때, 답변을 고정하면 그 향상분 중 얼마나 남는가? FEVEROUS에서 엄격 점수(strict score)는 정답을 맞히고 제출된 증거에 주석이 달린 완전한 증거 그룹이 포함된 주장(claim)의 비율(%)이다. 학습된 DeBERTa 체크포인트 4개와 7,890개의 주장에 걸쳐, DCUF 증거를 UnifEE 증거로 교체하면 엄격 점수는 9.61%p 상승하는 반면 답변 정확도는 1.96%p 상승한다. 엄격 점수 향상에 대한 쌍체(paired) 95% 구간은 [8.77, 10.43]이며, 이는 해당 체크포인트들을 조건으로 한다. DCUF 또는 UnifEE 증거에서 생성된 답변을 각각 유지한 채 스코어러에 전달되는 증거만 교체하면, 각각 7.92%p 또는 9.08%p가 설명된다. 이러한 증거 향상이 평가 선택에 따라 어떻게 달라지는지 살펴보기 위해, 두 개의 8B LLM으로 FEVER, FEVEROUS, SciFact 데이터셋에서 두 가지 답변 형식과 두 가지 컨텍스트 예산 조건 아래 470,400개의 응답을 생성한다. 컨텍스트를 256 토큰에서 2,048 토큰으로 늘리면 FEVEROUS에서 답변 고정 증거 향상이 Qwen과 Llama에서 각각 3.84%p와 3.10%p 상승한다. 이 효과는 사전에 지정한 데이터셋 간 기준에 미치지 못하며, 일부 구간은 2%p 소효과 한계를 넘어선다. 사후 분석(post-hoc analysis)은 답변과 제출된 증거의 변화를 정량화하고, 집계 정확도와 증거 포함률(evidence-coverage rate)이 주장 수준의 패턴을 놓치는 경우를 보여준다. 답변-증거 점수의 네 가지 조합은 종단 지표(endpoint metric)와 집계 지표가 해소하지 못하는 변화를 드러낸다.

arXiv:2607.23514v1cs.CL공통 태그 Retrieval, Misinformation

새로운 주장인가, 데jà vu인가? 다중모달 자동 팩트체킹을 위한 "오염 없음" 동적 평가 재검토

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

다중모달 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존 정적 벤치마크 대부분은 오염(contamination) 위험이 있다. 이들은 주로 외부 증거 없이 대규모 언어 모델(LLM)의 내부 지식만으로 검증 가능한 오래된 주장으로 구성되어 있다. 이는 성능 추정치를 부풀리고, 최신 정보가 필요한 새로운 주장에 대한 실제 역량을 반영하지 못할 수 있다. 이를 해결하기 위해 등장하는 동적 벤치마크는 LLM의 지식 컷오프(knowledge cut-off) 날짜 이후에 발표된 주장을 수집하며, 이를 오염되지 않은 것으로 가정한다. 본 연구는 최신(SOTA) 정적 벤치마크 AVeriTeC와 새로 구축한 동적 벤치마크 ClaimReview2025Q4 모두에서 오염 위험과 MAFC 평가에 미치는 영향을 실증적으로 조사하여 이 가정을 재검토한다. 실험 결과 16가지 발견이 도출되었으며, 그중 세 가지 핵심 결과는 다음과 같다. (1) 동적 평가는 오염 위험을 줄이지만 제거하지는 못하며, 컷오프 이후 주장의 17.09%--29.30%는 여전히 잠재적으로 오염되어 있을 수 있다. (2) 많은 새로 발표된 주장은 컷오프 이전에 이미 공개된 여러 공개 지식을 종합하여, 또는 직접 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발할 수 있으며, Macro-F1을 최대 11.34점까지 상승시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격히 오염이 통제된 설정에서 SOTA LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.

arXiv:2607.23581v1cs.AI공통 태그 Retrieval, Misinformation

출처 인식 멀티모달 허위정보 탐지를 위한 Verification-Notebook Learning

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

멀티모달 허위정보 검증은 게시물의 서로 다른 부분에서 오해를 유발하는 신호가 나타날 수 있고, 각각 다른 형태의 증거를 요구하기 때문에 어렵다. 대규모 비전-언어 모델(LVLM)은 이 과제에 잘 맞지만, 검증 성능은 종종 각 사례에 적용되는 추론 절차에 따라 달라진다. 기존 방법은 더 강한 프롬프트, 검색(retrieval), 또는 숙고(deliberation)를 통해 이 절차를 개선하지만, 이전 사례에서 학습한 검증 패턴을 거의 유지하지 못한다. 우리는 Verification-Notebook Learning(VNL)을 제안한다. 이는 추론 전에 고정된(frozen) LVLM에 대한 외부 검증 절차를 학습하는 비모수적(non-parametric) 프레임워크이다. VNL은 이전 검증 경험으로부터 의사결정 원칙, 증거 단서, 반복되는 함정으로 구성된 간결한 노트북을 구축한다. 노트북은 추론 중 고정된 상태를 유지하며 새로운 사례의 검증을 안내한다. 모델 파라미터를 갱신하거나 시연(demonstration)을 저장하는 대신, VNL은 학습된 지식을 직접 검사할 수 있는 아티팩트(artifact)에 기록한다. 실험 결과 VNL은 다양한 경쟁 기준선(baseline)을 일관되게 능가한다. 추가 분석에 따르면 Verification Notebook은 간결하고 해석 가능한 상태를 유지하면서 세밀한 출처 귀속(source attribution)을 개선하며, 모델 학습 없이 검증 지식을 축적하는 효과적인 방법을 제공한다.

arXiv:2607.20891v1cs.AI공통 태그 Retrieval, Misinformation

Deep Research는 신뢰할 수 있는가? 오도하는 지식이 잘못된 결론을 유발한다

Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions

Deep Research 에이전트는 대규모 언어 모델(LLM) 기반 어시스턴트를 계획, 검색, 증거 종합, 보고서 생성을 포함하는 장기 워크플로로 확장하지만, 개방형 정보 환경에서의 신뢰성은 아직 충분히 탐구되지 않았다. 핵심 우려는 이러한 환경에서 접하는 겉보기에는 신뢰할 만하지만 사실과 다른 오도하는 지식이 이러한 워크플로를 통해 전파되어 최종 보고서에서 잘못된 결론으로 채택될 수 있는지 여부이다. 이러한 실패 모드를 연구하기 위해, Deep Research 과제를 위한 오도하는 지식의 구축 및 검증을 위한 프레임워크인 MisKnow-Agent를 제안한다. MisKnow-Agent는 통제 가능한 권위 수준과 스타일을 갖는 오도하는 사례를 생성하며, DeepResearch Benchmark 과제를 기반으로 5,933개의 품질 통제된 사례를 만들어냈다. 오픈소스 및 클로즈드소스 Deep Research 에이전트에 걸친 광범위한 실험은 오도하는 지식에 대한 제한적인 노출만으로도 최종 보고서에서 잘못된 결론 채택을 유발할 수 있음을 보여주며, 현재 Deep Research 에이전트의 광범위한 신뢰성 취약점을 드러낸다. 검색 기능이 있는 검증 모델이 집중적인 코퍼스 검증 중 보존된 사례를 일관되게 오도하는 것으로 식별함에도 불구하고, 동일한 사례가 장기 연구 중에 여전히 채택될 수 있어 집중적 검증과 워크플로 수준의 증거 활용 사이의 단절을 드러낸다. 마지막으로, 연구 전·후 방어 기법을 개별적으로 및 조합하여 평가한 결과, 세 가지 구성 모두 잘못된 결론 채택을 완화하지만 완전히 방지하지는 못하는 것으로 나타났다. 우리의 결과는 신뢰할 수 있는 Deep Research가 계획, 검색, 증거 통합, 보고서 생성 능력의 개선을 넘어 모델 및 프레임워크 수준 모두에서 증거 검증 및 교정 역량을 필요로 함을 시사한다.

arXiv:2607.23132v2cs.CV공통 태그 Retrieval

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.