MIRAGE: 동적 지식 주입 하에서의 다중 홉 추론을 위한 프레임워크
MIRAGE: A Framework for Multi-hop Reasoning under Dynamic Knowledge Injection
한국어 초록
다중 홉 질의응답(MQA)은 대규모 언어 모델(LLM)이 여러 증거를 검색하고 종합하여 일관된 추론 경로를 만들 것을 요구하며, 이는 복잡한 과제에 필수적이다. 그러나 MQA를 위한 지식 갱신에 관한 기존 연구는 대체로 단순한 사실 편집에 집중하여, 모델이 상충하는 갱신과 완전히 새로운 정보를 동시에 수용해야 하는 더 어렵고 현실적인 설정인 \emph{지식 주입}을 간과해 왔다. 이 설정에서 홉 수준의 답이 틀리는 것은 흔히 모델이 잘못된 지식원을 신뢰하기 때문이다. 주입된 지식이 기존 매개변수 기억과 충돌할 때 모델은 오래된 매개변수 기억에 매달리고(K2), 필요한 사실이 완전히 새로운 경우에는 답하지 못한다(K3). 이를 조사하기 위해 상충(K2) 지식과 증분(K3) 지식을 명시적으로 다루는, 지식 주입 하의 다중 홉 추론에 특화된 최초의 벤치마크 NEXUS를 소개한다. 또한 효율적이고 학습이 필요 없는 프레임워크 MIRAGE를 제안한다. 그 핵심 구성요소인 Correlation-aware Dual-path Reasoner(CDR)는 P(True) 기반 신뢰도 라우팅으로 이러한 홉별 지식원 신뢰 오류를 해소하며, 잔여 구조적 편차에 대해서는 경량의 템플릿 기반 교정기가 보완한다. 네 가지 LLM 계열과 두 벤치마크에 걸친 광범위한 실험은 MIRAGE가 최종 답변 정확도와 홉 수준 추론 정확도를 모두 일관되게 향상시켜, 이 어려운 설정에서 새로운 최고 성능을 확립함을 보여 준다.
원문 초록
Multi-hop Question Answering (MQA) requires large language models (LLMs) to retrieve and synthesize multiple pieces of evidence into a coherent reasoning path, which is essential for complex tasks. However, prior work on knowledge updating for MQA has largely focused on simple fact edits, overlooking a more challenging and realistic setting---\emph{Knowledge Injection}---in which the model must simultaneously accommodate both conflicting updates and entirely novel information. Under this setting, a hop-level answer is often wrong simply because the model trusts the wrong knowledge source: it clings to outdated parametric memory when the injected knowledge conflicts with it (K2), and it cannot answer when the required fact is entirely new (K3). To investigate this, we introduce NEXUS, the first benchmark tailored for multi-hop reasoning under Knowledge Injection, which explicitly covers both conflicting (K2) and incremental (K3) knowledge. We further propose MIRAGE, an efficient, training-free framework whose core component, the Correlation-aware Dual-path Reasoner (CDR), resolves such per-hop source-trust errors via P(True)-based confidence routing, complemented by a lightweight template-guided corrector for residual structural deviations. Extensive experiments across four LLM families and two benchmarks demonstrate that MIRAGE consistently improves both final-answer accuracy and hop-level reasoning accuracy, establishing a new state of the art in this challenging setting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24058v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.