FutureBench: LLM의 지식-컨텍스트 충돌 평가를 위한 갱신 가능한 프레임워크
FutureBench: A Renewable Framework for Evaluating Knowledge-Context Conflict in LLMs
한국어 초록
모델에게 검색된 텍스트를 검증하라고 요청하는 것은 어느 출처를 신뢰할지도 알려 줄 수 있다. 우리는 시간 표시가 있는 질문, 통제된 지문 삼중쌍, 컨텍스트 없는 탐침을 사용하여 지식-컨텍스트 충돌을 평가하는 갱신 가능한 프레임워크인 FutureBench를 소개한다. 3,629개 질문과 여섯 개 모델에 걸쳐, Verify(검증과 지문 우선을 결합한 프롬프트)는 컨텍스트 기준 시점 이전 사건에 대해 시험한 다섯 모델 모두에서 오답 채택을 높이며, 이는 주로 지문 증거와 모델 지식을 모두 허용하는 Baseline에서는 정답이었던 답을 밀어내는 방식으로 나타난다. 기준 시점 이후 사건에서는 o4-mini만 채택이 증가한다(+13.7 퍼센트포인트). 기준 시점 이후 질문 902개에 대한 네 가지 프롬프트 비교에서, 검증 없이 지문을 우선하면 채택이 높아지는 반면 Verify로 바꾸면 다섯 모델 모두에서 채택이 낮아진다. 오해를 부르는 지문을 경고하고 모델 지식을 우선하는 Adversarial-Aware는 참 지문 정확도의 변화가 1포인트 미만인 가운데, 밀려났던 기준 시점 이전 답의 82.5-98.9%를 복원한다. FutureBench는 고정된 코호트에 대한 반복 평가와, 모델이 바뀜에 따른 새로운 사건으로의 확장을 지원한다.
원문 초록
Asking a model to check retrieved text can also tell it which source to trust. We introduce FutureBench, a renewable framework for evaluating knowledge-context conflict using timestamped questions, controlled passage triplets, and no-context probes. Across 3,629 questions and six models, Verify (a prompt combining checking with passage priority) raises false-answer adoption in all five models tested on pre-cutoff events, mainly by displacing answers that were correct under Baseline, which allows both passage evidence and model knowledge. On post-cutoff events, only o4-mini increases adoption (+13.7 percentage points). A four-prompt comparison on 902 post-cutoff questions finds that passage priority without checking raises adoption, while moving to Verify lowers it in all five models. Adversarial-Aware, which warns of misleading passages and prioritizes model knowledge, restores 82.5-98.9% of displaced pre-cutoff answers with under one point of change in true-passage accuracy. FutureBench supports repeated evaluation on fixed cohorts and extension to new events as models change.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23601v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.