arXiv:2403.08904

Detecting Hallucination and Coverage Errors in Retrieval Augmented Generation for Controversial Topics

Tyler A. Chang, Katrin Tomanek, Jessica Hoffmann, Nithum Thain, Erin Van Liemt, Kathleen Meier-Hellstern, Lucas Dixon

제출 2024-03-13

원문 초록

We explore a strategy to handle controversial topics in LLM-based chatbots based on Wikipedia's Neutral Point of View (NPOV) principle: acknowledge the absence of a single true answer and surface multiple perspectives. We frame this as retrieval augmented generation, where perspectives are retrieved from a knowledge base and the LLM is tasked with generating a fluent and faithful response from the given perspectives. As a starting point, we use a deterministic retrieval system and then focus on common LLM failure modes that arise during this approach to text generation, namely hallucination and coverage errors. We propose and evaluate three methods to detect such errors based on (1) word-overlap, (2) salience, and (3) LLM-based classifiers. Our results demonstrate that LLM-based classifiers, even when trained only on synthetic errors, achieve high error detection performance, with ROC AUC scores of 95.3% for hallucination and 90.5% for coverage error detection on unambiguous error cases. We show that when no training data is available, our other methods still yield good results on hallucination (84.0%) and coverage error (85.2%) detection.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27844v1cs.AI공통 태그 Text Generation, Hallucination, Retrieval-augmented Generation

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.24220v1cs.CV공통 태그 Retrieval, Hallucination, Retrieval-augmented Generation

문서 검색-인식 청킹(D-RAC): PDF 정규화 및 멀티모달 마크다운 변환을 통한 엔터프라이즈 문서의 범용 검색-인식 수집

Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion

엔터프라이즈 지식 베이스 기반의 검색-증강 생성(RAG) 시스템은 PDF, Word 문서, 프레젠테이션, 스캔본 등 다양한 문서 형식을 수집해야 하지만, 이러한 문서의 콘텐츠는 복잡한 시각적 레이아웃, 다단 페이지, 조밀한 표 내에 갇혀 있습니다. 규칙 기반 추출과 광학 문자 인식(OCR)은 읽기 순서를 훼손하고 표를 평탄화하며 제목 계층 구조를 잃어버리는 반면, 추출된 텍스트에 대해 완전 에이전트(agent) 기반 청킹을 수행하면 높은 토큰(token) 비용과 환각(hallucination) 위험이 발생합니다. 본 논문에서는 웹 검색-인식 청킹(W-RAC) 프레임워크를 임의의 문서 형식으로 확장한 문서 검색-인식 청킹(D-RAC)을 제안합니다. D-RAC은 사실상 모든 형식이 충실하고 결정론적인 PDF 렌더링을 지원한다는 점을 활용하여 모든 입력 문서를 먼저 PDF로 정규화(normalization)합니다. 이후 단일 멀티모달 LLM 패스를 통해 렌더링된 페이지를 검색에 최적화된 마크다운으로 변환하며, 이때 표를 독립적인 산문 문장으로 재작성하고 제목 계층 구조를 보존합니다. 그 뒤 청킹 과정은 W-RAC과 완전히 동일하게 진행되어, ID 주소 지정이 가능한 단위로 결정론적 파싱을 수행한 다음 텍스트가 아닌 식별자 기반의 경량 LLM 청크 계획 수립을 거칩니다. 청킹 과정에서 원본 텍스트는 결코 재생성되지 않으므로, W-RAC의 비용 절감, 결정론성, 관측 가능성 이점을 유지하는 동시에 렌더링 가능한 모든 형식을 일급 입력(first-class input)으로 활용할 수 있게 합니다. 5개 엔터프라이즈 도메인에 걸친 RAG-Multi-Corpus 벤치마크의 236개 문서, 795페이지 분량의 PDF 서브셋에서, D-RAC은 전체 말뭉치를 오류 없이 72분 만에 변환 및 청킹하여 1,748개의 검색 준비 청크를 생성했습니다. 최신 프론티어 LLM을 사용한 에이전트 기반 청킹과 비교했을 때, D-RAC은 청킹 단계의 출력 토큰을 95.7% 줄여 청킹 비용을 77.8%(GPT-4.1 가격 기준)에서 85.6%(Gemini 2.5 Pro 가격 기준)까지 절감하고 청킹 시간을 75% 단축했습니다. D-RAC은 500페이지 이상의 문서에 대해서도 선형적으로 확장(scaling)됩니다.

arXiv:2610.15742v1cs.CV공통 태그 Retrieval, Hallucination

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.13695v1cs.CL공통 태그 Hallucination, Retrieval-augmented Generation

구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색

Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph

의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.

arXiv:2610.02070v3cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.