arXiv:2303.16974

BEVERS: A General, Simple, and Performant Framework for Automatic Fact Verification

Mitchell DeHaven, Stephen Scott

제출 2023-03-29

원문 초록

Automatic fact verification has become an increasingly popular topic in recent years and among datasets the Fact Extraction and VERification (FEVER) dataset is one of the most popular. In this work we present BEVERS, a tuned baseline system for the FEVER dataset. Our pipeline uses standard approaches for document retrieval, sentence selection, and final claim classification, however, we spend considerable effort ensuring optimal performance for each component. The results are that BEVERS achieves the highest FEVER score and label accuracy among all systems, published or unpublished. We also apply this pipeline to another fact verification dataset, Scifact, and achieve the highest label accuracy among all systems on that dataset as well. We also make our full code available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27064v1cs.CL공통 태그 Retrieval, Fact Verification

팩트 검증 점수가 향상되면 무엇이 달라지는가? 학습된 검증기와 LLM 전반에 걸친 증거 및 답변 분해 분석

What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs

결합 팩트 검증 점수(joint fact-verification score)는 답변과 제출된 증거를 함께 평가한다. 점수가 향상될 때, 답변을 고정하면 그 향상분 중 얼마나 남는가? FEVEROUS에서 엄격 점수(strict score)는 정답을 맞히고 제출된 증거에 주석이 달린 완전한 증거 그룹이 포함된 주장(claim)의 비율(%)이다. 학습된 DeBERTa 체크포인트 4개와 7,890개의 주장에 걸쳐, DCUF 증거를 UnifEE 증거로 교체하면 엄격 점수는 9.61%p 상승하는 반면 답변 정확도는 1.96%p 상승한다. 엄격 점수 향상에 대한 쌍체(paired) 95% 구간은 [8.77, 10.43]이며, 이는 해당 체크포인트들을 조건으로 한다. DCUF 또는 UnifEE 증거에서 생성된 답변을 각각 유지한 채 스코어러에 전달되는 증거만 교체하면, 각각 7.92%p 또는 9.08%p가 설명된다. 이러한 증거 향상이 평가 선택에 따라 어떻게 달라지는지 살펴보기 위해, 두 개의 8B LLM으로 FEVER, FEVEROUS, SciFact 데이터셋에서 두 가지 답변 형식과 두 가지 컨텍스트 예산 조건 아래 470,400개의 응답을 생성한다. 컨텍스트를 256 토큰에서 2,048 토큰으로 늘리면 FEVEROUS에서 답변 고정 증거 향상이 Qwen과 Llama에서 각각 3.84%p와 3.10%p 상승한다. 이 효과는 사전에 지정한 데이터셋 간 기준에 미치지 못하며, 일부 구간은 2%p 소효과 한계를 넘어선다. 사후 분석(post-hoc analysis)은 답변과 제출된 증거의 변화를 정량화하고, 집계 정확도와 증거 포함률(evidence-coverage rate)이 주장 수준의 패턴을 놓치는 경우를 보여준다. 답변-증거 점수의 네 가지 조합은 종단 지표(endpoint metric)와 집계 지표가 해소하지 못하는 변화를 드러낸다.

arXiv:2609.28290v1cs.CL공통 태그 Retrieval, Sentence

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.26658v1cs.IR공통 태그 Retrieval, Sentence

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2609.24095v1cs.CV공통 태그 Retrieval, Sentence

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2607.23581v1cs.AI공통 태그 Retrieval, Fact Verification

출처 인식 멀티모달 허위정보 탐지를 위한 Verification-Notebook Learning

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

멀티모달 허위정보 검증은 게시물의 서로 다른 부분에서 오해를 유발하는 신호가 나타날 수 있고, 각각 다른 형태의 증거를 요구하기 때문에 어렵다. 대규모 비전-언어 모델(LVLM)은 이 과제에 잘 맞지만, 검증 성능은 종종 각 사례에 적용되는 추론 절차에 따라 달라진다. 기존 방법은 더 강한 프롬프트, 검색(retrieval), 또는 숙고(deliberation)를 통해 이 절차를 개선하지만, 이전 사례에서 학습한 검증 패턴을 거의 유지하지 못한다. 우리는 Verification-Notebook Learning(VNL)을 제안한다. 이는 추론 전에 고정된(frozen) LVLM에 대한 외부 검증 절차를 학습하는 비모수적(non-parametric) 프레임워크이다. VNL은 이전 검증 경험으로부터 의사결정 원칙, 증거 단서, 반복되는 함정으로 구성된 간결한 노트북을 구축한다. 노트북은 추론 중 고정된 상태를 유지하며 새로운 사례의 검증을 안내한다. 모델 파라미터를 갱신하거나 시연(demonstration)을 저장하는 대신, VNL은 학습된 지식을 직접 검사할 수 있는 아티팩트(artifact)에 기록한다. 실험 결과 VNL은 다양한 경쟁 기준선(baseline)을 일관되게 능가한다. 추가 분석에 따르면 Verification Notebook은 간결하고 해석 가능한 상태를 유지하면서 세밀한 출처 귀속(source attribution)을 개선하며, 모델 학습 없이 검증 지식을 축적하는 효과적인 방법을 제공한다.

arXiv:2607.20730v1cs.CR공통 태그 Retrieval, Fact Verification

GPE: 제어 가능한 GEO 스타일 포이즈닝 하에서 사실 검증을 위한 견고한 증거 집계 평가

GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning

대규모 언어 모델(LLM)은 최신 정보를 검색하기 위해 검색 도구를 점점 더 많이 사용하며, 검색된 문서를 조작할 수 있는 새로운 공격 표면을 도입하고 있다. 이러한 위험은 선택된 콘텐츠가 더 잘 검색되고, 인용되며, 모델에 채택될 가능성을 높일 수 있는 생성형 엔진 최적화(GEO)의 발전에 의해 증폭된다. 기존의 사실 검증 벤치마크와 평가 프레임워크는 GEO 포이즈닝에 대한 견고성을 평가하는 데 필요한 제어 가능한 증거 환경을 제공하지 않는다. 따라서 우리는 다중 도메인 사실 검증 벤치마크와 증거 출처 및 포이즈닝 비율을 제어하는 평가 프레임워크로 구성된 GPE를 제안한다. 다양한 검증 방법과 포이즈닝 공격에 걸친 실험은 GPE가 깨끗한 평가만으로는 관찰할 수 없는 견고성 저하와 효율성 트레이드오프를 드러내며, 적대적 증거 환경 하에서 사실 검증을 평가해야 할 필요성을 확인함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.