Joint Verification and Reranking for Open Fact Checking Over Tables
원문 초록
Structured information is an important knowledge source for automatic verification of factual claims. Nevertheless, the majority of existing research into this task has focused on textual data, and the few recent inquiries into structured data have been for the closed-domain setting where appropriate evidence for each claim is assumed to have already been retrieved. In this paper, we investigate verification over structured data in the open-domain setting, introducing a joint reranking-and-verification model which fuses evidence documents in the verification component. Our open-domain model achieves performance comparable to the closed-domain state-of-the-art on the TabFact dataset, and demonstrates performance gains from the inclusion of multiple tables as well as a significant improvement over a heuristic retrieval baseline.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크
READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis
시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.
학습된 컨텍스트 플래닝이 강력한 검색을 이기지 못할 때: 롱 컨텍스트 QA를 위한 플래닝, 라우팅, 리랭킹의 통제 연구
When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA
학습된 컨텍스트 플래닝(context planning)은 답변 모델(answer model)이 추론하기 전에 증거 단위(evidence atoms)를 선택한다. 본 연구에서는 강력한 검색(retrieval), 라우팅(routing), 예산 제한 선택기(budgeted-selector), 리랭킹(reranking) 통제 조건을 적용한 후에도 이러한 학습된 선택이 롱 컨텍스트 객관식 QA 성능을 향상시키는지 검증한다. 주요 진단 실험은 Qwen2.5-7B-Instruct를 사용하여 LongBench-v2의 객관식 문항 503개 전체에 대해 수행한다. 플래너(planner)는 학습 문항 140개와 개발 문항 28개에서 결과 기반으로 선택된 트레이스(trace)를 이용해 SFT로 학습되었으며, 503개 문항 분석에 이 문항들이 포함되므로 부분적으로 트랜스덕티브(transductive)하다. 18k 문자 예산에서 앵커드 하이브리드 검색(anchored hybrid retrieval)은 36.18%의 정확도를, BM25는 35.98%를 달성한 반면, 플래너 기반 직접 방식 중 최고 성능은 34.19%였다. 사용하지 않은 152개 문항의 테스트 분할에서도 앵커드 하이브리드가 더 높은 성능을 보였다(42.11% 대 36.84%). 누수 방지(leakage-safe) 라우터는 큰 오라클(oracle) 격차를 실제 성능으로 전환하지 못한다. 예산이 빠듯한 조건에서 최고의 플래너는 6k에서 0.40%p 앞서는 데 그치고 9k에서는 뒤처지며, 플래너 기반 리랭킹은 6k에서 +1.79%p의 추정치를 보이나 쌍체(paired) 신뢰구간이 0을 포함하고 9k에서는 통제 조건과 동률이다. 패킹 순서(packing-order) 및 점수 평탄도(score-flatness) 분석에서는 안정적인 메커니즘을 확인하지 못했다. 이 설정에서 학습된 플래닝은 강력한 검색을 대체하는 것이 아니라 약한 관련성 신호에 그친다.
LLM 추천 리랭킹의 재현율 한계
The Recall Ceiling of LLM Recommendation Reranking
일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.
현재 검색기(Retriever)는 모든 증거를 포괄하는가? 연합적 교차 페이지 검색에 대한 통제 연구
Do Current Retrievers Cover All the Evidence? A Controlled Study of Conjunctive Cross-Page Retrieval
다중 조건 요청과 관련된 긴 문서를 찾는 것과, 해당 문서가 요청된 모든 증거 조각을 포함한다는 것을 확인하는 것은 동일하지 않다. 우리는 연합적(conjunctive) 문서 검색에서 이 간극을 연구한다. 여기서는 하나의 문서 내 서로 다른 페이지에서 두 또는 세 개의 명시적 조건이 각각 뒷받침되어야 한다. n-Clue를 통제된 측정 도구로 사용한다: 2,021개 문서에 대한 1,000개 쿼리에서 모든 조건을 만족하는 gold를 일부 조건만 만족하는 자연 발생 문서와 짝짓고, complete-first 성공은 top-10 gold가 공개된 모든 부분집합 qrel보다 앞서야 한다. 70가지 구성에 걸쳐 조건별 분해(condition-wise decomposition)는 두 dense backbone을 6.8–7.3점 향상시키고 어휘–시각 융합(lexical–visual fusion)은 8.7점을 추가하는 반면, 네 가지 범용 reranker는 모두 Gold-NDCG를 감소시킨다. 이러한 경향은 4-source stress set에서도 재현된다. 하나의 dense 계열을 0.6B에서 8B로 스케일링해도 complete-first 성공률은 0.0점 변화에 불과하다. 가장 강력한 하이브리드는 결과적 간극을 보여준다. 쿼리의 81.1%에서 gold를 찾지만 complete-first 성공은 35.8%에 불과하며, 이 간극은 조건 수, 대상 길이, 후보 밀도, 쿼리 렌더링, 4-source stress set 전반에 걸쳐 지속된다. 마지막으로 page-aware visual system은 모든 조건에 대한 저장된 지원을 쿼리의 5.1–5.3%에서만 표면화한다. 이 결과는 gold 발견만이 아니라 조건 포괄(condition coverage)가 핵심 병목임을 밝힌다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.