Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization
원문 초록
Open-domain Question Answering (OpenQA) aims at answering factual questions with an external large-scale knowledge corpus. However, real-world knowledge is not static; it updates and evolves continually. Such a dynamic characteristic of knowledge poses a vital challenge for these models, as the trained models need to constantly adapt to the latest information to make sure that the answers remain accurate. In addition, it is still unclear how well an OpenQA model can transfer to completely new knowledge domains. In this paper, we investigate the generalization performance of a retrieval-augmented QA model in two specific scenarios: 1) adapting to updated versions of the same knowledge corpus; 2) switching to completely different knowledge domains. We observe that the generalization challenges of OpenQA models stem from the reader's over-reliance on memorizing the knowledge from the external corpus, which hinders the model from generalizing to a new knowledge corpus. We introduce Corpus-Invariant Tuning (CIT), a simple but effective training strategy, to mitigate the knowledge over-memorization by controlling the likelihood of retrieved contexts during training. Extensive experimental results on multiple OpenQA benchmarks show that CIT achieves significantly better generalizability without compromising the model's performance in its original corpus and domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패
When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.
추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?
Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
Answer Complex Questions: Path Ranker Is All You Need
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.