arXiv:2505.07528

SEReDeEP: Hallucination Detection in Retrieval-Augmented Models via Semantic Entropy and Context-Parameter Fusion

Lei Wang

제출 2025-05-12

원문 초록

Retrieval-Augmented Generation (RAG) models frequently encounter hallucination phenomena when integrating external information with internal parametric knowledge. Empirical studies demonstrate that the disequilibrium between external contextual information and internal parametric knowledge constitutes a primary factor in hallucination generation. Existing hallucination detection methodologies predominantly emphasize either the external or internal mechanism in isolation, thereby overlooking their synergistic effects. The recently proposed ReDeEP framework decouples these dual mechanisms, identifying two critical contributors to hallucinations: excessive reliance on parametric knowledge encoded in feed-forward networks (FFN) and insufficient utilization of external information by attention mechanisms (particularly copy heads). ReDeEP quantitatively assesses these factors to detect hallucinations and dynamically modulates the contributions of FFNs and copy heads to attenuate their occurrence. Nevertheless, ReDeEP and numerous other hallucination detection approaches have been employed at logit-level uncertainty estimation or language-level self-consistency evaluation, inadequately address the semantic dimensions of model responses, resulting in inconsistent hallucination assessments in RAG implementations. Building upon ReDeEP's foundation, this paper introduces SEReDeEP, which enhances computational processes through semantic entropy captured via trained linear probes, thereby achieving hallucination assessments that more accurately reflect ground truth evaluations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27814v1cs.CL공통 태그 Hallucination, RAG, Retrieval-augmented Generation

LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크

LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law

법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.

arXiv:2609.27844v1cs.AI공통 태그 Hallucination, RAG, Retrieval-augmented Generation

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.22537v1cs.AI공통 태그 Hallucination, RAG, Retrieval-augmented Generation

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

arXiv:2609.24220v1cs.CV공통 태그 Hallucination, RAG, Retrieval-augmented Generation

문서 검색-인식 청킹(D-RAC): PDF 정규화 및 멀티모달 마크다운 변환을 통한 엔터프라이즈 문서의 범용 검색-인식 수집

Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion

엔터프라이즈 지식 베이스 기반의 검색-증강 생성(RAG) 시스템은 PDF, Word 문서, 프레젠테이션, 스캔본 등 다양한 문서 형식을 수집해야 하지만, 이러한 문서의 콘텐츠는 복잡한 시각적 레이아웃, 다단 페이지, 조밀한 표 내에 갇혀 있습니다. 규칙 기반 추출과 광학 문자 인식(OCR)은 읽기 순서를 훼손하고 표를 평탄화하며 제목 계층 구조를 잃어버리는 반면, 추출된 텍스트에 대해 완전 에이전트(agent) 기반 청킹을 수행하면 높은 토큰(token) 비용과 환각(hallucination) 위험이 발생합니다. 본 논문에서는 웹 검색-인식 청킹(W-RAC) 프레임워크를 임의의 문서 형식으로 확장한 문서 검색-인식 청킹(D-RAC)을 제안합니다. D-RAC은 사실상 모든 형식이 충실하고 결정론적인 PDF 렌더링을 지원한다는 점을 활용하여 모든 입력 문서를 먼저 PDF로 정규화(normalization)합니다. 이후 단일 멀티모달 LLM 패스를 통해 렌더링된 페이지를 검색에 최적화된 마크다운으로 변환하며, 이때 표를 독립적인 산문 문장으로 재작성하고 제목 계층 구조를 보존합니다. 그 뒤 청킹 과정은 W-RAC과 완전히 동일하게 진행되어, ID 주소 지정이 가능한 단위로 결정론적 파싱을 수행한 다음 텍스트가 아닌 식별자 기반의 경량 LLM 청크 계획 수립을 거칩니다. 청킹 과정에서 원본 텍스트는 결코 재생성되지 않으므로, W-RAC의 비용 절감, 결정론성, 관측 가능성 이점을 유지하는 동시에 렌더링 가능한 모든 형식을 일급 입력(first-class input)으로 활용할 수 있게 합니다. 5개 엔터프라이즈 도메인에 걸친 RAG-Multi-Corpus 벤치마크의 236개 문서, 795페이지 분량의 PDF 서브셋에서, D-RAC은 전체 말뭉치를 오류 없이 72분 만에 변환 및 청킹하여 1,748개의 검색 준비 청크를 생성했습니다. 최신 프론티어 LLM을 사용한 에이전트 기반 청킹과 비교했을 때, D-RAC은 청킹 단계의 출력 토큰을 95.7% 줄여 청킹 비용을 77.8%(GPT-4.1 가격 기준)에서 85.6%(Gemini 2.5 Pro 가격 기준)까지 절감하고 청킹 시간을 75% 단축했습니다. D-RAC은 500페이지 이상의 문서에 대해서도 선형적으로 확장(scaling)됩니다.

arXiv:2607.23838v1cs.CR공통 태그 Hallucination, RAG, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.22584v1cs.AI공통 태그 Hallucination, RAG, Retrieval-augmented Generation

검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법

Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.