arXiv:2611.22027v1 cs.CL

GauntletScore: LLM-AggreFact에서 최고 공개 기법과 대등한 감사 가능 사실 검증

GauntletScore: Auditable Fact-Checking That Matches the Best Published Checkers on LLM-AggreFact

Ernie Hobbs, Jim Hinson

제출 2026-11-18

한국어 초록

생성된 문장을 원문이 뒷받침하는지 확인하는 일은 AI가 작성한 텍스트에 적용하는 일반적인 안전장치다. 공개된 최고 성능의 검증기는 단일 모델을 사용한다. GauntletScore는 벤치마크의 개발용 분할에서 정한 소수의 규칙과 임계값으로 작동하는 증거 처리 엔진이다. 서로 다른 공급자의 독립적인 판독 모델에 유형별 질문을 보내고, 각 답변을 증거 원장에 측정값으로 기록한다. 고정 베이즈 규칙으로 측정값을 결합하며, 두 판독 모델이 동의할 때만 모순으로 집계한다. 리더보드 방식에 따라 LLM-AggreFact의 전체 시험 분할(데이터셋 11개의 주장 29,320개)에서 평가한 결과, GauntletScore의 균형 정확도는 79.51로 2026년 11월 15일 기준 리더보드에 공개된 모든 평균 점수보다 높았다. 가장 높은 기존 점수인 nimble-v4-max의 79.45는 공개된 데이터셋별 점수에서 계산한 값이며, GauntletScore의 95% 구간인 78.47~80.53에 포함돼 두 결과는 대등한 수준이다. 동일한 주장에 대해 판독 모델 A와 B를 단독으로 썼을 때보다 각각 1.66점과 2.17점 높았다(95% 구간 각각 0.80~2.53과 1.29~3.06). 아래에서 다루는 AggreFact-CNN을 제외해도 각각 0.90점과 1.32점 높았고 두 구간은 모두 0을 웃돌았다. 단일 모델과 달리 모든 판정에 대한 근거도 기록한다. 가장 큰 차이는 기사 전문을 여러 문장의 요약과 대조하는 AggreFact-CNN에서 나타났다. 이는 규제를 받는 여러 글쓰기 형식과 비슷하다. GauntletScore는 76.45점으로 리더보드 1위였고, 차점은 70.1점이며 전체 평균 상위 여섯 시스템은 63.9~67.8점이었다. 사전에 확정한 중단 계획에 따라 첫 시험 주장을 보기 전에 엔진을 고정한 뒤 시험 분할을 한 번만 실행했다. 주장별 예측과 채점 스크립트를 공개한다.

원문 초록

Checking whether a generated sentence is supported by its source document is a standard safeguard for AI-written text, and the strongest published checkers are single models. We describe GauntletScore, an evidence engine whose few rules and thresholds were set on the benchmark's development split. It puts typed questions to independent readers from different providers and records each answer as a measurement in an evidence ledger. It combines the measurements with a fixed Bayesian rule that counts a contradiction only when two readers agree. On the full LLM-AggreFact test split (29,320 claims across 11 datasets), following the leaderboard's approach, GauntletScore achieves 79.51 balanced accuracy, above every average published on the leaderboard as of 15 November 2026. That places it level with the best of them, nimble-v4-max (79.45 from its published dataset scores; the engine's 95% interval, 78.47 to 80.53, contains it). On the same claims it beats two of its three readers used alone (Readers A and B) by 1.66 and 2.17 points (95% intervals 0.80 to 2.53 and 1.29 to 3.06). Without AggreFact-CNN, described below, the leads are 0.90 and 1.32 and both intervals stay above zero. The engine also records the evidence behind every verdict, which a single model does not. Its largest margin is on full-length news articles checked against multi-sentence summaries (AggreFact-CNN), a format that resembles much regulated writing. There it scores 76.45, the best on the leaderboard, against 70.1 for the next best and 63.9 to 67.8 for the six systems with the highest averages. The test split was run once, on an engine frozen before the first test claim, under a stopping plan committed in advance. We release per-claim predictions and the scoring script.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22027v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.