증거에서 판단으로: 상충하는 증거 하에서의 추적 증강 추론
From Evidence to Judgment: Trace-Augmented Reasoning under Conflicting Evidence
한국어 초록
검색된 문서들은 서로 모순되거나, 오래된 정보를 담고 있거나, 어떤 답도 뒷받침하지 못하는 경우가 많으며, 검색 증강 생성(RAG) 시스템은 어떤 문서를 신뢰할지 결정할 신뢰할 만한 방법이 없다. 본 연구는 이를 추론 문제로 보고 답변 생성과 분리하여 시험한다. 943개의 학습 및 검증 예제와 서로 겹치지 않는 736개 예제의 벤치마크를 공개하고, 답변 전에 구조화된 사고 추적을 작성하도록 네 개의 언어 모델을 미세조정한다. 모델은 각 문서를 판단하고, 충돌 패턴을 추론하며, 근거에 기반한 답변 또는 정당화된 거절을 작성한다. 본 평가 프레임워크인 CATS(Conflict-Aware Trust Score)는 근거 기반 거절, 행동 준수, 사실적 근거성, 단일 진실 재현율을 평가하며, 사람 평가를 통해 사실적 근거성과 단일 진실 재현율을 검증하였다(kappa=0.78 및 0.79). 사고 추적은 답변/거절 결정을 개선한다. 세 가지 프롬프트 모두에서 미조정 모델의 Refusal F1(거절을 양성 클래스로 한 F1)은 최대 0.429인 반면 추적 조정 모델은 최소 0.826이다. 모델이 답변하는 답변 가능 예제에서 40단어 프롬프트 하의 사실적 근거성은 미조정 모델이 최대 0.11, 추적 조정 모델이 0.86-0.88이다. 프롬프트를 1,965단어에서 40단어로 줄여도 추적 조정 모델의 점수는 벤치마크의 측정 잡음(+/-0.034) 범위 내에 머문다. 답변만 사용한 미세조정은 최소 프롬프트 하에서 모든 지표에서 추적 지도 방식에 뒤처진다.
원문 초록
Retrieved documents often disagree, contain outdated information, or fail to support any answer, and retrieval-augmented generation (RAG) systems have no reliable way to decide which documents to trust. We treat this as a reasoning problem and test it separately from answer generation. We release 943 training and validation examples and a disjoint 736-example benchmark, and fine-tune four language models to write a structured think trace before answering: the model judges each document, infers the conflict pattern, and writes a grounded answer or a justified refusal. Our evaluation framework, CATS (Conflict-Aware Trust Score), scores grounded refusal, behavioural adherence, factual grounding, and single-truth recall; a human study validates factual grounding and single-truth recall (kappa=0.78 and 0.79). The think trace improves the answer/refuse decision: under all three prompts, untuned models score at most 0.429 Refusal F1 (F1 with refusal as the positive class) and trace-tuned models at least 0.826. On the answerable examples a model answers, factual grounding under the 40-word prompt is at most 0.11 for untuned and 0.86-0.88 for trace-tuned models. Cutting the prompt from 1,965 words to 40 leaves trace-tuned scores within the benchmark's measurement noise (+/-0.034). Answer-only fine-tuning trails trace supervision on every metric under the minimal prompt.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.16795v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.