arXiv:2412.12632

What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context

Zhiyuan Chang, Mingyang Li, Xiaojun Jia, Junjie Wang, Yuekai Huang, Qing Wang, Yihao Huang, Yang Liu

제출 2024-12-17

원문 초록

Incorporating external knowledge into large language models (LLMs) has emerged as a promising approach to mitigate outdated knowledge and hallucination in LLMs. However, external knowledge is often imperfect. In addition to useful knowledge, external knowledge is rich in irrelevant or misinformation in the context that can impair the reliability of LLM responses. This paper focuses on LLMs' preferred external knowledge in imperfect contexts when handling multi-hop QA. Inspired by criminal procedural law's Chain of Evidence (CoE), we characterize that knowledge preferred by LLMs should maintain both relevance to the question and mutual support among knowledge pieces. Accordingly, we propose an automated CoE discrimination approach and evaluate LLMs' effectiveness, faithfulness and robustness with CoE, including its application in the Retrieval-Augmented Generation (RAG). Tests on five LLMs show CoE improves generation accuracy, answer faithfulness, robustness to knowledge conflicts, and boosts the performance of existing approaches in three practical RAG scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23838v1cs.CR공통 태그 Hallucination, Misinformation, RAG, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.22584v1cs.AI공통 태그 Hallucination, Misinformation, RAG, Retrieval-augmented Generation

검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법

Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.

arXiv:2607.11783v1cs.CL공통 태그 Hallucination, Misinformation, RAG, Retrieval-augmented Generation

온도가 검색-증강 생성에서 이념적 담론을 형성하는 방식

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

검색-증강 생성(RAG)은 환각(hallucination)을 줄이고 대규모 언어 모델(LLM)의 사실적 그라운딩(grounding)을 강화하기 위해 점점 더 널리 채택되고 있다. 검색 과정의 오류에 대한 강건성은 탐구된 바 있으나, 이념적 바이어스가 LLM 출력에 미치는 영향은 간과되어 왔다. 예를 들어, 검색된 자료에 이념적 입장이 포함된 경우, RAG는 그러한 이념적 담론을 출력에서 전달하거나 증폭시키거나 억제할 수 있다. 본 연구에서는 이념적 담론을 포함하는 RAG 프레임워크가 LLM 생성 답변에 미치는 영향을 분석함으로써 이 문제를 다룬다. 이를 위해 1,117개의 COVID-19 치료 관련 기사로 구성된 코퍼스에 어휘 다차원 분석(Lexical Multidimensional Analysis, LMDA)을 적용하여 세 가지 이념적 담론을 식별하였다. 이 코퍼스는 RAG의 외부 지식 소스로 활용된다. 여러 LLM이 서로 다른 샘플링 온도(sampling temperature)에서 이념적 질문에 답변하도록 하여 평가하였다. 생성된 텍스트는 이념적 참조 텍스트와의 유사도를 기준으로 의미적·어휘적으로 평가되었다. 연구 결과, RAG 프레임워크는 이념적 담론을 LLM 응답으로 전달하는 경향이 있으며, 샘플링 온도가 이 전달의 강도에 측정 가능한 영향을 미치는 것으로 나타났다. 생성된 답변과 참조 텍스트 간의 담론적 정렬(discoursive alignment)은 중간 온도에서 가장 높게 나타났는데, 이는 모델이 확률적 특성과 검색 그라운딩 사이에서 균형을 이루는 구간이다. 반면 낮은 온도에서는 담론 전달이 감소하여, 지나치게 결정론적인 샘플링이 담론 전달을 억제함을 시사한다.

arXiv:2609.27814v1cs.CL공통 태그 Hallucination, RAG, Retrieval-augmented Generation

LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크

LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law

법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.

arXiv:2609.27844v1cs.AI공통 태그 Hallucination, RAG, Retrieval-augmented Generation

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.22537v1cs.AI공통 태그 Hallucination, RAG, Retrieval-augmented Generation

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.