arXiv:2608.25986v2 cs.AI

멀티모달 지식 그래프 기반 RAG를 위한 다중 granularity 컨텍스트 강화 기법

Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs

Zongyu Wu, Yilong Wang, Xiaochen Wang, Minhua Lin, Zhichao Xu, Fenglong Ma, Xiang Zhang, Suhang Wang

제출 2026-08-26

한국어 초록

지식 그래프(KG) 기반 검색 증강 생성(RAG)은 구조화된 지식을 활용하여 대규모 언어 모델(LLM)에 고품질의 외부 정보를 제공한다. 이러한 연구를 바탕으로 최근에는 다중모달 지식 그래프(MMKG)를 GraphRAG의 지식 베이스로 활용하는 연구가 진행되고 있다. 이를 통해 GraphRAG는 여러 모달리티에 걸친 지식을 통합할 수 있으며, 그 결과 성능이 더욱 향상된다. 그러나 기존의 MMKG 기반 RAG 방법은 일반적으로 서로 다른 모달리티를 대체로 독립적으로 처리한 뒤 융합하는 공통된 파이프라인을 따른다. 그 결과 시각 정보 추출과 이후의 다중모달 지식 융합 과정에서 텍스트 문맥이 제한적으로만 사용된다. 이는 이미지와 텍스트 사이에 의미적 간극을 초래하여 다중모달 GraphRAG의 성능을 제한한다. 이 문제를 해결하기 위해 본 논문은 다중모달 GraphRAG를 더 잘 지원하는 문맥 강화 MMKG(CEMMKG)를 구축하기 위한 새로운 프레임워크를 제안한다. 제안하는 CEMMKG는 각 이미지를 지역 범위와 전역 범위의 보완적인 텍스트 문맥으로 풍부하게 한다. 지역 문맥은 이미지 주변 텍스트를 넘어 이미지와 의미적으로 관련된 문장까지 포함하며, 전역 문맥은 문서 전체의 요약을 제공한다. 또한 지역 문맥에 다중 입도 설계를 도입하여 서로 다른 수준의 세부 단위에서 의미적으로 관련된 정보를 포착할 수 있도록 한다. 여러 데이터셋에 대한 폭넓은 실험을 통해 CEMMKG가 문맥 정보를 활용하여 MMKG 기반 RAG의 성능을 향상시키는 데 효과적임을 검증한다. 더불어 서로 다른 MMKG 기반 RAG 방법 전반에서의 효과는 이 방법의 폭넓은 적용 가능성을 보여준다.

원문 초록

Knowledge graph (KG)-based retrieval-augmented generation (RAG) leverages structured knowledge to provide large language models (LLMs) with high-quality external information. Building on these works, recent studies have explored multimodal knowledge graphs (MMKGs) as knowledge bases for GraphRAG. This enables GraphRAG to integrate knowledge across multiple modalities, thereby further enhancing its performance. However, existing MMKG-based RAG methods generally follow a common pipeline in which different modalities are largely processed independently before being fused. As a result, textual context is only used to a limited extent during visual information extraction and subsequent multimodal knowledge fusion. This brings a semantic gap between images and text which limits the multimodal GraphRAG performance. To address this issue, we propose a novel framework for constructing a Context-Enhanced MMKG (CEMMKG) to better support multimodal GraphRAG. The proposed CEMMKG enriches each image with complementary textual context at both local and global scopes. Local context goes beyond the surrounding text by incorporating sentences that are semantically related to the image, while global context provides a summary of the entire document. We further introduce a multi-granularity design for the local context, allowing it to capture semantically relevant information at different levels of detail. Extensive experiments on multiple datasets validate that CEMMKG is effective in leveraging contextual information to improve MMKG-based RAG performance. Moreover, its effectiveness across different MMKG-based RAG methods demonstrates its broad applicability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25986v2제출 시각 미확인
  2. arXiv:2608.25986v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.