arXiv:2609.22162v1 cs.CL

원시 컨텍스트 전송을 넘어서: 표현 기반 연합 검색-증강 생성

Beyond Raw Context Transfer: Representation-based Federated Retrieval-Augmented Generation

Can Peng, Yu Liu, Yingyu Yang, Anjie Le, Yuyuan Liu, Qianye Yang, J. Alison Noble

제출 2026-09-22

한국어 초록

검색-증강 생성(RAG)은 외부 지식에 기반해 생성(grounding)함으로써 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 사실성을 향상시킨다. 그러나 기존 RAG 프레임워크 대부분은 중앙 집중식 검색 코퍼스를 가정하는데, 이는 데이터가 본질적으로 분산되어 있고 원시 콘텐츠를 기관 간에 직접 공유할 수 없는 의료와 같은 민감한 도메인에서는 비현실적인 경우가 많다. 분산형 RAG에 관한 최근 연구는 주로 사람이 읽을 수 있는 원시 검색 콘텐츠를 주고받는 프롬프트 기반 패러다임을 따르며, 이로 인해 추론 시점의 계산 오버헤드가 크게 증가하고 검색된 정보가 직접 노출된다. 이러한 한계를 해결하기 위해 본 논문은 원시 문서를 이를 소유한 클라이언트에 그대로 두고, 클라이언트 간 검색 과정에서 압축된 잠재 표현(latent representation)만 교환하는 분산형 RAG 프레임워크인 표현 기반 연합 RAG(Representation-based Federated RAG, FedRepRAG)를 제안한다. 검색된 지식을 통합하기 위해, 검색 임베딩을 고정된(frozen) LLM/VLM 백본에 맞는 생성기 호환 표현 토큰으로 변환하는 협력 학습 기반 프로젝터를 도입한다. 분산 환경의 시각적 질의응답(VQA) 및 질의응답(QA) 벤치마크에서 수행한 실험 결과, FedRepRAG는 직접 추론 및 로컬 검색 베이스라인을 일관되게 능가하는 동시에, 원시 컨텍스트 전송 방식과 비교해 검색 컨텍스트 길이와 추론 시점의 계산 오버헤드를 크게 줄였다. 추가 분석에서는 질의와 관련된 검색 표현이 중요함을 확인하였으며, 표현 교환에 따르는 표현 수준의 잔여 유출(residual leakage)을 규명하였다. 종합하면, FedRepRAG는 검색된 원시 콘텐츠를 전송하지 않고도 연합 RAG를 효과적이고 효율적으로 수행하는 프레임워크를 제공한다.

원문 초록

Retrieval-augmented generation (RAG) improves the factuality of large language models (LLMs) and vision-language models (VLMs) by grounding generation in external knowledge. However, most existing RAG frameworks assume a centralized retrieval corpus, which is often impractical in sensitive domains such as healthcare, where data are inherently distributed and raw content cannot be directly shared across institutions. Recent efforts on decentralized RAG primarily follow prompt-based paradigms that exchange raw, human-readable retrieved content, leading to substantial inference-time computational overhead and direct exposure of retrieved information. To address these limitations, we propose Representation-based Federated RAG (FedRepRAG), a decentralized RAG framework that keeps raw documents at their owning clients and exchanges only compact latent representations during cross-client retrieval. To integrate retrieved knowledge, we introduce a collaboratively trained projector that converts retrieval embeddings into generator-compatible representation tokens for a frozen LLM/VLM backbone. Experiments across decentralized visual question answering (VQA) and question answering (QA) benchmarks show that FedRepRAG consistently outperforms direct inference and local retrieval baselines while substantially reducing retrieval-context length and inference-time computational overhead compared with raw-context transfer. Further analyses confirm the importance of query-relevant retrieved representations and characterize the residual representation-level leakage associated with representation exchange. Overall, FedRepRAG provides an effective and efficient framework for federated RAG without transferring raw retrieved content.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22162v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.