arXiv:2512.19134 cs.CL

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

제출 2025-12-22

한국어 초록

다이나믹 검색-증강 생성(Dynamic Retrieval-Augmented Generation)은 대규모 언어 모델(LLMs)에서 환각을 완화하기 위해 생성 중 검색 시점을 적응적으로 결정합니다. 그러나 기존 방법은 모델 내부 신호(예: 로짓, 엔트로피)에 의존하는데, 이는 LLM이 일반적으로 잘 보정되지 않고 종종 잘못된 출력에 대해 높은 신뢰도를 보이기 때문에 근본적으로 신뢰할 수 없습니다. 우리는 주관적인 신뢰도에서 사전 학습 데이터로부터 계산된 객관적인 통계로 전환하는 QuCo-RAG를 제안합니다. 우리의 방법은 두 단계로 불확실성을 정량화합니다: (1) 생성 이전에, 우리는 긴 꼬리 지식 격차를 나타내는 저빈도 엔티티를 식별합니다; (2) 생성 중에, 우리는 사전 학습 코퍼스에서 엔티티의 동시 발생을 검증하며, 동시 발생이 없는 경우 환각 위험을 신호하는 경우가 많습니다. 두 단계 모두 4조 개의 토큰에 대해 밀리초 지연 쿼리를 위한 Infini-gram을 활용하여 불확실성이 높을 때 검색을 트리거합니다. 다중 홉 QA 벤치마크에 대한 실험 결과, QuCo-RAG는 OLMo-2 모델을 사용하여 최첨단 기준보다 5-12 포인트의 EM 향상을 달성하며, 비공개 사전 학습 데이터를 가진 모델(Llama, Qwen, GPT)로도 효과적으로 전이되어 EM을 최대 14 포인트 향상시킵니다. 생물 의학 QA에 대한 도메인 일반화는 우리의 패러다임의 강건성을 추가로 검증합니다. 이러한 결과는 코퍼스 기반 검증이 다이나믹 RAG를 위한 원칙적이고 실질적으로 모델 비의존적인 패러다임으로 자리잡게 합니다. 우리의 코드는 https://github.com/ZhishanQ/QuCo-RAG에서 공개적으로 이용 가능합니다.

요약

QuCo-RAG는 대규모 언어 모델(LLM)의 생성 과정에서 동적으로 검색 시점을 결정하여 허위 정보를 완화하는 혁신적인 방법론이다. 기존의 접근 방식은 모델 내부 신호에 의존하였으나, 이는 LLM이 종종 잘 보정되지 않고 잘못된 출력에 대해 높은 신뢰도를 보이는 문제를 안고 있다. 본 연구에서는 이러한 한계를 극복하기 위해 주관적인 신뢰도 대신 사전 학습 데이터에서 계산된 객관적인 통계로 불확실성을 정량화하는 새로운 방법을 제안한다. QuCo-RAG의 불확실성 정량화는 두 가지 주요 단계로 구성된다. 첫 번째 단계에서는 생성 전에 긴 꼬리 지식 격차를 나타내는 저빈도 엔티티를 식별한다. 두 번째 단계에서는 생성 중에 사전 학습 데이터에서 엔티티의 동시 발생을 검증하여, 동시 발생이 0일 경우 허위 정보의 위험을 신호한다. 이러한 두 단계는 Infini-gram을 활용하여 4조 개의 토큰에 대해 밀리초 지연 쿼리를 수행함으로써 불확실성이 높은 상황에서 검색을 트리거한다. 실험 결과, QuCo-RAG는 다단계 질문 응답(QA) 벤치마크에서 OLMo-2 모델을 사용하여 최신 기준선보다 5-12 포인트의 정확도(EM) 향상을 달성하였다. 또한, 비공식 사전 학습 데이터를 가진 모델(Llama, Qwen, GPT)에서도 효과적으로 이전되어 EM을 최대 14 포인트 향상시켰다. 생물 의학 QA에서의 도메인 일반화 실험은 QuCo-RAG의 강건성을 추가로 검증하였다. QuCo-RAG는 사전 학습 코퍼스를 기반으로 한 검증을 통해 동적 검색 증강 생성의 새로운 패러다임을 제시하며, 이는 모델 비의존적인 접근 방식으로 다양한 LLM에 적용 가능하다. 이러한 연구는 허위 정보의 위험을 줄이는 데 기여하며, 향후 다양한 도메인에 적용할 수 있는 가능성을 탐색할 예정이다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.