arXiv:2609.20843v1 cs.CL

VISPATH: 멀티모달 지식 그래프 질의응답을 위한 시각적 의도 기반 경로 추론

VISPATH: Visual-Intent-Guided Path Reasoning for Multimodal Knowledge Graph Question Answering

Jinke Wu, Zhengpin Li, Mengzhe Jia, Yang Li, Wentao Zhang

제출 2026-09-21

한국어 초록

지식 그래프 질의응답(KGQA)은 구조화된 그래프 추론을 통해 자연어 질문에 답할 수 있게 하며, 여러 벤치마크와 응용 분야에서 상당한 진전을 이뤘다. 최근 멀티모달 KGQA(MM-KGQA)는 많은 질문이 멀티모달 입력과 KG 증거를 함께 사용해야 하기 때문에 주목을 받고 있다. 그러나 기존 MM-KGQA 방법들은 일반적으로 멀티모달 정보를 시작 엔티티 그라운딩 또는 증거 검색에만 사용한 뒤, 다중 홉(multi-hop) 추론이 텍스트 전용 그래프 탐색으로 퇴화한다. 그 결과 중간 홉에서 중요해지는 멀티모달 단서를 활용하지 못한다. 이 한계를 해결하기 위해 MM-KGQA를 위한 시각적 의도 기반 경로 추론 프레임워크인 VISPATH를 제안한다. VISPATH는 먼저 멀티모달 그라운딩과 그래프 구조적 단서를 결합해 신뢰할 수 있는 시작 엔티티를 식별한다. 이어 입력, 질문, 현재 부분 경로로부터 홉별 멀티모달 의도를 재계산하는 의도 기반 경로 탐색을 수행하여, 각 확장이 현재 추론 상태에 의해 안내되도록 한다. 발견된 경로는 추론 연쇄 가지치기(reasoning-chain pruning)를 통해 추가로 정제되며, 이는 후보 경로를 질문, 추론 개요(reasoning sketch), 홉별 의도와의 일관성에 따라 완전한 증거 연쇄로 평가한다. 마지막으로 VISPATH는 선택된 증거가 답 생성에 충분한지 확인한다. 또한 KG 경로에서 2~4홉을 요구하는 질문을 포함하여, KG에 대한 멀티모달 다중 홉 추론을 평가하는 벤치마크인 VISPATH-Bench를 구축한다. VISPATH-Bench와 추가 멀티모달 QA 벤치마크 3개에 대한 광범위한 실험에서 VISPATH는 강력한 기준선들을 일관되게 능가한다. 특히 GPT-4o를 백본으로 할 때 VISPATH는 VISPATH-Bench에서 GPT-5.4를 넘어서며, 평균 정확도에서 10.6% 상대 향상과 2홉 추론에서 13.1% 향상을 달성한다.

원문 초록

Knowledge graph question answering (KGQA) enables models to answer natural-language questions through structured graph reasoning and has achieved substantial progress across many benchmarks and applications. Recently, multimodal KGQA (MM-KGQA) has attracted increasing attention because many questions require jointly using multimodal inputs and KG evidence. However, existing MM-KGQA methods typically use multimodal information only for starting entity grounding or evidence retrieval, after which multi-hop reasoning degenerates into text-only graph search. As a result, they cannot exploit multimodal cues that become important at intermediate hops. To address this limitation, we propose VISPATH, a visual-intent-guided path reasoning framework for MM-KGQA. VISPATH first identifies a reliable starting entity by combining multimodal grounding with graph-structural cues. It then performs intent-guided path discovery by recomputing hop-specific multimodal intent from the input, question, and current partial paths, so that each expansion is guided by the current reasoning state. The discovered paths are further refined through reasoning-chain pruning, which evaluates candidate paths as complete evidence chains based on their consistency with the question, reasoning sketch, and hop-specific intent. Finally, VISPATH checks whether the selected evidence is sufficient for answer generation. We further construct VISPATH-Bench, a benchmark for evaluating multimodal multi-hop reasoning over KGs, covering questions that require two to four hops over KG paths. Extensive experiments on VISPATH-Bench and three additional multimodal QA benchmarks show that VISPATH consistently outperforms strong baselines. Notably, with GPT-4o as the backbone, VISPATH surpasses GPT-5.4 on VISPATH-Bench, achieving a 10.6% relative improvement in average accuracy and a 13.1% improvement at 2-hop reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.20843v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.