arXiv:2512.16795v2 cs.CL

증거에서 판단으로: 상충하는 증거 하에서의 추적 증강 추론

From Evidence to Judgment: Trace-Augmented Reasoning under Conflicting Evidence

Shubham Mishra, Atharv Sharma, Dhruv Kumar, Harsh Sharma

제출 2026-11-17

한국어 초록

검색된 문서들은 서로 모순되거나, 오래된 정보를 담고 있거나, 어떤 답도 뒷받침하지 못하는 경우가 많으며, 검색 증강 생성(RAG) 시스템은 어떤 문서를 신뢰할지 결정할 신뢰할 만한 방법이 없다. 본 연구는 이를 추론 문제로 보고 답변 생성과 분리하여 시험한다. 943개의 학습 및 검증 예제와 서로 겹치지 않는 736개 예제의 벤치마크를 공개하고, 답변 전에 구조화된 사고 추적을 작성하도록 네 개의 언어 모델을 미세조정한다. 모델은 각 문서를 판단하고, 충돌 패턴을 추론하며, 근거에 기반한 답변 또는 정당화된 거절을 작성한다. 본 평가 프레임워크인 CATS(Conflict-Aware Trust Score)는 근거 기반 거절, 행동 준수, 사실적 근거성, 단일 진실 재현율을 평가하며, 사람 평가를 통해 사실적 근거성과 단일 진실 재현율을 검증하였다(kappa=0.78 및 0.79). 사고 추적은 답변/거절 결정을 개선한다. 세 가지 프롬프트 모두에서 미조정 모델의 Refusal F1(거절을 양성 클래스로 한 F1)은 최대 0.429인 반면 추적 조정 모델은 최소 0.826이다. 모델이 답변하는 답변 가능 예제에서 40단어 프롬프트 하의 사실적 근거성은 미조정 모델이 최대 0.11, 추적 조정 모델이 0.86-0.88이다. 프롬프트를 1,965단어에서 40단어로 줄여도 추적 조정 모델의 점수는 벤치마크의 측정 잡음(+/-0.034) 범위 내에 머문다. 답변만 사용한 미세조정은 최소 프롬프트 하에서 모든 지표에서 추적 지도 방식에 뒤처진다.

원문 초록

Retrieved documents often disagree, contain outdated information, or fail to support any answer, and retrieval-augmented generation (RAG) systems have no reliable way to decide which documents to trust. We treat this as a reasoning problem and test it separately from answer generation. We release 943 training and validation examples and a disjoint 736-example benchmark, and fine-tune four language models to write a structured think trace before answering: the model judges each document, infers the conflict pattern, and writes a grounded answer or a justified refusal. Our evaluation framework, CATS (Conflict-Aware Trust Score), scores grounded refusal, behavioural adherence, factual grounding, and single-truth recall; a human study validates factual grounding and single-truth recall (kappa=0.78 and 0.79). The think trace improves the answer/refuse decision: under all three prompts, untuned models score at most 0.429 Refusal F1 (F1 with refusal as the positive class) and trace-tuned models at least 0.826. On the answerable examples a model answers, factual grounding under the 40-word prompt is at most 0.11 for untuned and 0.86-0.88 for trace-tuned models. Cutting the prompt from 1,965 words to 40 leaves trace-tuned scores within the benchmark's measurement noise (+/-0.034). Answer-only fine-tuning trails trace supervision on every metric under the minimal prompt.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.16795v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.