arXiv:2501.16214

Provence: efficient and robust context pruning for retrieval-augmented generation

Nadezhda Chirkova, Thibault Formal, Vassilina Nikoulina, Stéphane Clinchant

제출 2025-01-27

원문 초록

Retrieval-augmented generation improves various aspects of large language models (LLMs) generation, but suffers from computational overhead caused by long contexts as well as the propagation of irrelevant retrieved information into generated responses. Context pruning deals with both aspects, by removing irrelevant parts of retrieved contexts before LLM generation. Existing context pruning approaches are however limited, and do not provide a universal model that would be both efficient and robust in a wide range of scenarios, e.g., when contexts contain a variable amount of relevant information or vary in length, or when evaluated on various domains. In this work, we close this gap and introduce Provence (Pruning and Reranking Of retrieVEd relevaNt ContExts), an efficient and robust context pruner for Question Answering, which dynamically detects the needed amount of pruning for a given context and can be used out-of-the-box for various domains. The three key ingredients of Provence are formulating the context pruning task as sequence labeling, unifying context pruning capabilities with context reranking, and training on diverse data. Our experimental results show that Provence enables context pruning with negligible to no drop in performance, in various domains and settings, at almost no cost in a standard RAG pipeline. We also conduct a deeper analysis alongside various ablations to provide insights into training context pruners for future work.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23971v1cs.AI공통 태그 Question Answering, Retrieval, RAG, Retrieval-augmented Generation

UniK: 디지털 AI와 물리 AI를 위한 범용 지식 인식

UniK: Universal Knowledge Perception for Digital and Physical AI

조직의 운영 방식을 바꾸고 있는 두 가지 혁신적인 AI 시스템 유형이 있다. 하나는 기업 지식 위에서 추론하여 챗봇과 에이전트 워크플로를 구동하는 디지털 AI(digital AI)이고, 다른 하나는 영상, 게임플레이, 센서 원격 측정(telemetry)으로부터 로봇과 자율 시스템의 제어를 학습하는 물리 AI(physical AI)이다. 둘 다 동일한 근본적 병목에 직면한다. 이질적 모달리티에 걸친 대규모 원시 지식이 사설 코퍼스에 갇혀 있어, 기존 AI 인프라가 이를 신뢰성 있게 또는 효율적으로 접근하지 못한다는 점이다. 본 논문은 범용 지식 인식(Universal Knowledge Perception, UniK)을 두 유형 모두를 아우르는 공통 플랫폼으로 제안한다. 풍부한 텍스트와 영상부터 분자 데이터 및 센서 원격 측정에 이르는 다양한 모달리티에 걸쳐, 수집(ingestion), 강화(enrichment), 색인(indexing), 검색(retrieval), 지속적 평가(evaluation)를 포함하는 지식 전 생애주기 전반을 다룬다. 과제별 미세조정 없이, 자동으로 강화된 색인에 대한 다중 색인 융합(multi-index fusion)인 Polymath Retrieval 위에 구축된 UniK를 제시한다. 의학 문헌, 개방형 QA, 화학, 법률 영상 절차, 정부 공개 데이터 등 다섯 디지털 AI 도메인에서, 오픈소스 700억 매개변수 모델과 결합한 UniK는 차수적으로 더 큰 프론티어 독점 LLM과 지속적으로 동등하거나 그 이상의 성능을 보였다. 정부 데이터에서 RAG 정확도 76%(GPT-5는 47%), 미세조정 없이 의학 QA에서 77.9%, 모든 오픈소스 화학 파이프라인을 상회했다. 동일한 인프라가 물리 AI 월드 모델 학습이 직면한 데이터 큐레이션, 색인, 검색 과제를 직접 해결할 수 있음을 보이며, 해당 영역에서는 지식 문제가 더 어렵지만 구조적으로 동일하다.

arXiv:2610.16008v1cs.CL공통 태그 Question Answering, RAG, Retrieval-augmented Generation

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

arXiv:2610.02373v1cs.CR공통 태그 Question Answering, RAG, Retrieval-augmented Generation

홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점

Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM

GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.

arXiv:2609.26976v1cs.CL공통 태그 Question Answering, Retrieval, Reranking

학습된 컨텍스트 플래닝이 강력한 검색을 이기지 못할 때: 롱 컨텍스트 QA를 위한 플래닝, 라우팅, 리랭킹의 통제 연구

When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA

학습된 컨텍스트 플래닝(context planning)은 답변 모델(answer model)이 추론하기 전에 증거 단위(evidence atoms)를 선택한다. 본 연구에서는 강력한 검색(retrieval), 라우팅(routing), 예산 제한 선택기(budgeted-selector), 리랭킹(reranking) 통제 조건을 적용한 후에도 이러한 학습된 선택이 롱 컨텍스트 객관식 QA 성능을 향상시키는지 검증한다. 주요 진단 실험은 Qwen2.5-7B-Instruct를 사용하여 LongBench-v2의 객관식 문항 503개 전체에 대해 수행한다. 플래너(planner)는 학습 문항 140개와 개발 문항 28개에서 결과 기반으로 선택된 트레이스(trace)를 이용해 SFT로 학습되었으며, 503개 문항 분석에 이 문항들이 포함되므로 부분적으로 트랜스덕티브(transductive)하다. 18k 문자 예산에서 앵커드 하이브리드 검색(anchored hybrid retrieval)은 36.18%의 정확도를, BM25는 35.98%를 달성한 반면, 플래너 기반 직접 방식 중 최고 성능은 34.19%였다. 사용하지 않은 152개 문항의 테스트 분할에서도 앵커드 하이브리드가 더 높은 성능을 보였다(42.11% 대 36.84%). 누수 방지(leakage-safe) 라우터는 큰 오라클(oracle) 격차를 실제 성능으로 전환하지 못한다. 예산이 빠듯한 조건에서 최고의 플래너는 6k에서 0.40%p 앞서는 데 그치고 9k에서는 뒤처지며, 플래너 기반 리랭킹은 6k에서 +1.79%p의 추정치를 보이나 쌍체(paired) 신뢰구간이 0을 포함하고 9k에서는 통제 조건과 동률이다. 패킹 순서(packing-order) 및 점수 평탄도(score-flatness) 분석에서는 안정적인 메커니즘을 확인하지 못했다. 이 설정에서 학습된 플래닝은 강력한 검색을 대체하는 것이 아니라 약한 관련성 신호에 그친다.

arXiv:2609.27009v1cs.CL공통 태그 Question Answering, RAG, Retrieval-augmented Generation

LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지

LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning

대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO

토론

이 논문과 연결된 포럼 글이 아직 없습니다.