arXiv:2406.09815

Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments

Zhenrui Yue, Huimin Zeng, Lanyu Shang, Yifan Liu, Yang Zhang, Dong Wang

제출 2024-06-14

원문 초록

The rapid propagation of misinformation poses substantial risks to public interest. To combat misinformation, large language models (LLMs) are adapted to automatically verify claim credibility. Nevertheless, existing methods heavily rely on the embedded knowledge within LLMs and / or black-box APIs for evidence collection, leading to subpar performance with smaller LLMs or upon unreliable context. In this paper, we propose retrieval augmented fact verification through the synthesis of contrasting arguments (RAFTS). Upon input claims, RAFTS starts with evidence retrieval, where we design a retrieval pipeline to collect and re-rank relevant documents from verifiable sources. Then, RAFTS forms contrastive arguments (i.e., supporting or refuting) conditioned on the retrieved evidence. In addition, RAFTS leverages an embedding model to identify informative demonstrations, followed by in-context prompting to generate the prediction and explanation. Our method effectively retrieves relevant documents as evidence and evaluates arguments from varying perspectives, incorporating nuanced information for fine-grained decision-making. Combined with informative in-context examples as prior, RAFTS achieves significant improvements to supervised and LLM baselines without complex prompts. We demonstrate the effectiveness of our method through extensive experiments, where RAFTS can outperform GPT-based methods with a significantly smaller 7B LLM.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27064v1cs.CL공통 태그 Retrieval, Misinformation, Fact Verification

팩트 검증 점수가 향상되면 무엇이 달라지는가? 학습된 검증기와 LLM 전반에 걸친 증거 및 답변 분해 분석

What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs

결합 팩트 검증 점수(joint fact-verification score)는 답변과 제출된 증거를 함께 평가한다. 점수가 향상될 때, 답변을 고정하면 그 향상분 중 얼마나 남는가? FEVEROUS에서 엄격 점수(strict score)는 정답을 맞히고 제출된 증거에 주석이 달린 완전한 증거 그룹이 포함된 주장(claim)의 비율(%)이다. 학습된 DeBERTa 체크포인트 4개와 7,890개의 주장에 걸쳐, DCUF 증거를 UnifEE 증거로 교체하면 엄격 점수는 9.61%p 상승하는 반면 답변 정확도는 1.96%p 상승한다. 엄격 점수 향상에 대한 쌍체(paired) 95% 구간은 [8.77, 10.43]이며, 이는 해당 체크포인트들을 조건으로 한다. DCUF 또는 UnifEE 증거에서 생성된 답변을 각각 유지한 채 스코어러에 전달되는 증거만 교체하면, 각각 7.92%p 또는 9.08%p가 설명된다. 이러한 증거 향상이 평가 선택에 따라 어떻게 달라지는지 살펴보기 위해, 두 개의 8B LLM으로 FEVER, FEVEROUS, SciFact 데이터셋에서 두 가지 답변 형식과 두 가지 컨텍스트 예산 조건 아래 470,400개의 응답을 생성한다. 컨텍스트를 256 토큰에서 2,048 토큰으로 늘리면 FEVEROUS에서 답변 고정 증거 향상이 Qwen과 Llama에서 각각 3.84%p와 3.10%p 상승한다. 이 효과는 사전에 지정한 데이터셋 간 기준에 미치지 못하며, 일부 구간은 2%p 소효과 한계를 넘어선다. 사후 분석(post-hoc analysis)은 답변과 제출된 증거의 변화를 정량화하고, 집계 정확도와 증거 포함률(evidence-coverage rate)이 주장 수준의 패턴을 놓치는 경우를 보여준다. 답변-증거 점수의 네 가지 조합은 종단 지표(endpoint metric)와 집계 지표가 해소하지 못하는 변화를 드러낸다.

arXiv:2610.13603v1cs.LG공통 태그 Retrieval, Decision Making

소규모 인지 코어로 대규모 인간 행동을 설명하다

A small cognitive core explains human behavior at scale

심리학은 인지에 관한 많은 원리를 제시해 왔습니다. 그러나 각 원리는 개별적으로 개발되어, 이들을 결합했을 때의 설명력은 알려지지 않은 채로 남아 있었습니다. 우리는 기존에 확립된 소수의 원리들을 하나의 모델로 통합했으며, 이를 COntextual Retrieval and Encoding(CORE)이라고 명명했습니다. CORE는 예측 오차가 기록되는 일화 기억(episodic memory)의 계층 구조로 구성되며, 이 기억의 인코딩(encoding), 검색(retrieval), 망각은 맥락(context)에 의존합니다. 137개 실험에서 수집된 7,036,442개의 선택 데이터에 공동으로 적합(fit)된 이 모델은 블랙박스 모델보다 인간의 선택을 더 잘 예측하며, 시뮬레이션 시 보고된 행동 효과의 75%를 재현합니다. 또한, 모델의 잠재 변수들은 베이즈 학습(Bayesian learning)과 사건 분할(event segmentation)의 전형적인 특징을 보여줍니다. 종합하면, 이러한 발견은 소규모의 인지 코어가 인간 행동의 상당 부분을 설명한다는 점을 시사합니다. 나아가 전체 실험 기록을 기반으로 계산 모델(computational model)을 구축함으로써, 심리학을 개별 부분의 합 이상으로 발전시킬 수 있는 길을 열어줍니다.

arXiv:2610.02070v3cs.AI공통 태그 Retrieval, Decision Making

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.10608v1cs.CR공통 태그 Retrieval, Decision Making

조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선

From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.

arXiv:2609.27770v1cs.CL공통 태그 Retrieval, Decision Making

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.