arXiv:2611.24522v1 cs.CL

MECI: 멀티모달 개체 연결을 위한 다중 요소 협력 상호작용

MECI: Multi-Element Collaborative Interaction for Multimodal Entity Linking

Jie Peng, Yongxue Shan, Yongfu Zha, Xiaodong Wang

제출 2026-11-19

한국어 초록

멀티모달 개체 연결(MEL)은 멀티모달 문맥 속의 멘션을 지식 베이스의 특정 개체에 대응시켜 중의성을 해소하는 것을 목표로 한다. MEL의 핵심 과제는 멘션-개체 쌍 간의 의미적 일관성과 모달리티 간의 상호 보완적 상관관계라는 다층적 대응 관계를 포착하는 것이다. 그러나 기존 방법은 결합된 상호작용이나 거친 전역 집계에 의존하기 때문에 요소 지배 문제를 겪는 경우가 많다. 이에 본 논문에서는 Multi-Element Collaborative Interaction(MECI) 프레임워크를 제안한다. 먼저 다중 요소 멘션-개체 대응 관계를 포착하기 위해, 요소 지배를 완화하는 분리된 특징 학습을 위한 "분할 정복" 전략을 활용하는 Multi-view Experts Network를 개발하며, 이는 전문가의 특화와 협력을 제어하는 KL 기반 라우팅 메커니즘의 지원을 받는다. 나아가 모달리티 간 상호 보완적 상관관계를 모델링하기 위해 계층적 멀티모달 상호작용 모듈을 제안하는데, 여기서 동적 모달리티 인식 가중치 네트워크가 계층적 의미 수준에 걸쳐 상호작용을 정교화하여 다중 입도의 증거를 통합함으로써 요소 지배에 대응한다. 마지막으로 대규모 언어 모델을 활용해 제로샷 재순위화를 수행하는 생성적 의미 정제 단계를 도입한다. WikiDiverse, RichpediaMEL, WikiMEL에 대한 폭넓은 실험에서 MECI는 최신 베이스라인을 일관되게 능가했으며, Hits@1이 각각 1.95%, 7.30%, 2.31% 향상되었다.

원문 초록

Multimodal Entity Linking (MEL) aims to disambiguate mentions in multimodal contexts by grounding them to specific entities in a knowledge base. A pivotal challenge in MEL is capturing multi-level correspondences: the semantic consistency between mention-entity pairs and the complementary correlations across modalities. However, existing methods often suffer from element dominance due to their reliance on coupled interactions or coarse global aggregations. In response, we propose the Multi-Element Collaborative Interaction (MECI) framework. First, to capture multi-element mention-entity correspondences, we develop a Multi-view Experts Network that leverages a "divide-and-conquer" strategy for decoupled feature learning to mitigate element dominance, supported by a KL-guided routing mechanism that governs expert specialization and collaboration. Furthermore, to model cross-modal complementary correlations, we propose a Hierarchical Multimodal Interaction Module, where a dynamic modality-aware weighting network refines interactions across hierarchical semantic levels, thereby integrating multi-granular evidence to counteract element dominance. Finally, we incorporate a generative semantic refinement stage that utilizes large language models for zero-shot re-ranking. Extensive experiments on WikiDiverse, RichpediaMEL, and WikiMEL show that MECI consistently outperforms state-of-the-art baselines, improving Hits@1 by 1.95%, 7.30%, and 2.31%, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24522v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.