NaviGATE: 멀티모달 지식 그래프 추론을 위한 잡음 인지 이중 뷰 생성
NaviGATE: Noise-Aware Dual-View Generation for Multimodal Knowledge Graph Reasoning
한국어 초록
멀티모달 지식 그래프 추론(MKGR)은 관계 구조, 텍스트 설명, 시각적 증거를 함께 활용하여 누락된 사실을 추론하는 것을 목표로 한다. 기존의 임베딩 기반 방법은 그래프 위상을 효과적으로 포착하지만, 고정된 멀티모달 표현은 질의별 세밀한 의미 추론에 덜 효과적이며, 생성 기반 방법은 잡음이 섞인 검색에 취약하고 유효하지 않은 개체를 생성할 수 있다. 이러한 문제를 해결하기 위해 우리는 MKGR을 위한 잡음 인지 생성 프레임워크 NaviGATE를 제안한다. NaviGATE는 먼저 그래프에서 도출한 구조 표현을 텍스트 의미와 정렬한 다음, 멀티모달 개체 요약과 주입된 구조 토큰으로 멀티모달 언어 모델을 미세 조정하여 구조 인지 내부 지식 활성화를 수행한다. 잡음 인지 이중 뷰 지시 튜닝 단계에서 NaviGATE는 검색 비의존 뷰와 검색 인지 뷰를 함께 최적화한다. 신뢰할 수 있는 검색 후보는 대조적 로짓 선명화를 통해 강화하고, 오도하는 후보는 파라미터 일관성 증류를 통해 억제한다. 추론 시에는 구조 제약 디코딩이 생성을 대상 지식 그래프의 유효한 개체로 제한한다. 표준 벤치마크 실험에서 NaviGATE는 강력한 단일모달, 멀티모달, 생성 기반 기준선을 일관되게 능가하며, 잡음이 있는 검색 시나리오에서도 강건함을 유지한다.
원문 초록
Multimodal knowledge graph reasoning (MKGR) aims to infer missing facts by jointly exploiting relational structures, textual descriptions, and visual evidence. Existing embedding-based methods effectively capture graph topology, but their fixed multimodal representations are less effective for query-specific fine-grained semantic reasoning, while generation-based methods are vulnerable to noisy retrieval and may produce invalid entities. To address these challenges, we propose NaviGATE, a noise-aware generative framework for MKGR. NaviGATE first aligns graph-derived structural representations with textual semantics, then performs structure-aware internal knowledge activation by fine-tuning the multimodal language model with multimodal entity summaries and injected structural tokens. In the noise-aware dual-view instruction tuning stage, NaviGATE jointly optimizes retrieval-free and retrieval-aware views: reliable retrieved candidates are reinforced through contrastive logit sharpening, while misleading candidates are suppressed through parametric consistency distillation. In inference, structure-constrained decoding restricts generation to valid entities in the target knowledge graph. Experiments on standard benchmarks show that NaviGATE consistently outperforms strong unimodal, multimodal, and generation-based baselines, and remains robust under noisy retrieval scenarios.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24552v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.