arXiv:2611.22766v1 cs.CL

StitchRAG: 확산 모델로 문장을 이어 근거를 보존하는 간결한 RAG 문맥 만들기

StitchRAG: Constructing Compact and Evidence-Preserving Contexts for RAG with Diffusion-Based Stitching

Minsang Kim, Junpyo Lim, Heeje Cho, Seungjun Baek

제출 2026-11-18

한국어 초록

검색 증강 생성(RAG)은 대규모 언어 모델(LLM)의 답변이 외부 근거에 기반하도록 해 사실성을 높인다. 그러나 검색으로 얻은 문맥이 길면 계산 비용이 늘고, 관련 없는 내용이나 잡음 때문에 성능이 오히려 낮아질 수 있다. RAG에서 간결한 문맥을 구성하는 StitchRAG를 제안한다. 검색한 구절을 동적으로 압축하면서 원래 근거를 충실히 반영하는 정보 밀도 높은 문맥을 만든다. 보존할 정보와 계산 비용 사이의 절충을 효용 최대화 문제로 정식화해 구절마다 압축률을 조절한다. 이어 구절에서 답변 후보와 쿼리 관련 핵심어를 앵커로 추출한다. 이렇게 정한 분량 제약 안에서 앵커가 포함된 문장을 모은다. 마지막으로 텍스트 확산 모델로 문장들을 이어 붙여 일관되고 자연스러운 문맥을 구성한다. 개방형 도메인 질의응답 벤치마크 다섯 개에서 StitchRAG는 여러 다단계 처리 및 압축 기준선보다 일관되게 우수했다. 광범위한 구성 요소 제거 실험에서 동적 분량 배분, 앵커 보존, 확산 기반 문장 연결의 효과를 확인했다.

원문 초록

Retrieval-augmented generation (RAG) improves factuality by grounding large language models (LLMs) in external evidence. However, long retrieved contexts incur computational overhead and can even hurt performance due to noisy or irrelevant content. We propose \textsc{StitchRAG}, a framework for constructing compact context in RAG. \textsc{StitchRAG} builds a faithful, information-dense context while dynamically compressing the retrieved passages. We adapt the size reduction ratio to each passage by formulating a utility maximization trading-off the retained information and computation costs. We then extract answer candidates and query-related keywords from passages as anchors and collect passage sentences containing anchors under the derived size constraint. Finally, we connect or stitch the collected sentences together using text diffusion to form a coherent and natural context. Experiments on five open-domain QA benchmarks show that \textsc{StitchRAG} consistently outperforms diverse multi-step and compression baselines. Extensive ablations show the effectiveness of dynamic size allocation, anchor preservation, and diffusion-based stitching.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22766v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.