arXiv:2610.40966v1 cs.CL

더 나은 검색기, 더 나쁜 레이블: 불완전한 관련성 판단이 대화형 RAG의 응답 보류 평가를 왜곡하는 방식

Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG

Ivan Kochergin, Vasily Konovalov

제출 2026-11-02

한국어 초록

MTRAG와 RETECO 같은 대화형 RAG 벤치마크는 검색과 생성을 종단 간으로 평가한다. 각 시스템은 자체 검색 결과를 바탕으로 답하므로, 응답 보류(abstention)는 검색된 각 컨텍스트가 충분한지에 비추어 채점되어야 한다. 편의상 사용되는 지름길은 관련성 판단에서 충분성을 곧바로 읽어 내어, 정답 문서(gold document)가 없는 컨텍스트를 답변 불가능한 것으로 취급한다. 우리는 공식 베이스라인을 그대로 다시 실행하고, RECOR(RETECO 트랙 2)에서 네 가지 검색기(nDCG@10이 .18에서 .59)와 세 가지 Qwen3 리더로 이 지름길을 검증한다. 두 개의 오픈 LLM 판정기와 네 개의 소형 오픈 모델로 구성된 패널이 내용에 따라 각 컨텍스트에 레이블을 부여하며, 다른 계열의 모델이 250개 컨텍스트를 블라인드로 감사하고 조정 절차를 거친다. 검색기가 강할수록 정답 문서가 없는데도 답을 포함하는 컨텍스트의 비율은 커지고(28%에서 72%), 지름길의 정밀도는 낮아진다(.68에서 .10, 감사 기준으로는 .70에서 .21). 리더도 이에 부합한다. Qwen3-4B는 이러한 허위 미탐(false miss)의 62–67%에 올바르게 답하는 반면, 불충분하다고 판정된 정답 문서 없는 컨텍스트에서는 23–30%, 문서가 전혀 없을 때는 1%에 답한다. 대부분의 허위 미탐에서 답은 같은 질문에 대해 채굴된 하드 네거티브, 즉 다른 턴의 정답 문서 또는 정답 페이지의 인접 청크에서 나온다. 판단이 주석자에게서 나온 MTRAG에서는 정밀도가 .72에서 .50으로 떨어진다. 지름길을 사용하면 답변 가능성 AUROC가 최대 .19까지 과소 추정되며, 최고의 충분성 탐지기는 문서를 전혀 읽지 않는 검색 점수처럼 보이게 된다. 우리는 코드, 실행 결과, 레이블을 공개하며, 정답 문서의 존재 여부가 아니라 내용 레이블에 따라 거절을 채점할 것을 권고한다.

원문 초록

Conversational RAG benchmarks such as MTRAG and RETECO evaluate retrieval and generation end to end: each system answers from its own retrieval, so abstention must be scored against whether each retrieved context is sufficient. A convenient shortcut reads sufficiency off the relevance judgments and treats a context without gold documents as unanswerable. We re-run the official baselines exactly and test this shortcut on RECOR (RETECO track~2) with four retrievers (nDCG@10 from .18 to .59) and three Qwen3 readers. Two open LLM judges and a panel of four small open models label each context by content, and a model of another family audits 250 contexts blind, with adjudication. The stronger the retriever, the larger the share of no-gold contexts that still contain the answer (28\% to 72\%) and the lower the shortcut's precision (.68 to .10; .70 to .21 under the audit). A reader agrees: Qwen3-4B answers 62--67\% of these false misses correctly, against 23--30\% of no-gold contexts judged insufficient and 1\% with no documents. In most false misses, the answer comes from a hard negative mined for the same question, another turn's gold or a neighbouring chunk of the gold page. On MTRAG, whose judgments come from annotators, precision drops from .72 to .50. Under the shortcut, answerability AUROC is up to .19 too low, and the best sufficiency detector appears to be a retrieval score that never reads the documents. We release code, runs and labels, and recommend scoring refusals against content labels, not the presence of gold.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.40966v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.