arXiv:2609.23267v1 cs.CL

이미지를 언제 신뢰할지: 신뢰도 인지 다중모달 엔티티 정렬

Knowing When to Trust Images: Reliability-Aware Multi-modal Entity Alignment

Chenxiao Li, Yunhe Feng, Dongfang Liu, Dong Nie, Yan Huang, Heng Fan

제출 2026-09-22

한국어 초록

시각 모달리티, 즉 이미지는 다중모달 엔티티 정렬(MMEA)에서 핵심적인 역할을 한다. 기존 접근법은 종종 이미지를 다른 모달리티와 직접 융합하여 서로 다른 엔티티를 정렬한다. 단순하지만, 이러한 전략은 이미지에 존재할 수 있는 노이즈와 해당 엔티티와의 의미적 불일치를 간과하여, 차선의 융합과 성능 저하를 초래한다. 이에 대응하여, 우리는 시각 신뢰도를 평가하고 견고한 엔티티 정렬을 위해 신뢰할 수 없는 시각 표현을 적응적으로 개선하는 MMEA용 신규 신뢰도 인지 프레임워크(RA-MMEA)를 제안한다. 핵심은 의존성 인지 시각 신뢰도 예측(DA-VRP)과 안정성 정규화 시각 임베딩 생성(SR-VEG)을 포함한 두 모듈에 있다. 전자는 엔티티 내 다중모달 의존성을 활용하여 이미지의 신뢰도를 추정하는 것을 목표로 하고, 후자는 다중모달 융합을 위해 텍스트 모달리티에 인코딩된 의미에 조건화된 대안적 시각 표현을 생성하는 데 초점을 둔다. 현재 방법들과 비교할 때, RA-MMEA는 모달리티 융합을 위한 더 신뢰할 수 있는 시각 표현을 가능하게 하여 성능을 향상시킨다. 광범위한 실험에서 RA-MMEA는 최신 최고 성능(state-of-the-art) 결과를 달성하여, 엔티티 정렬을 위한 신뢰할 수 있는 시각 모달리티의 중요성과 RA-MMEA의 효과를 검증한다. 코드와 결과는 공개될 예정이다.

원문 초록

The visual modality, i.e., images, plays a key role in multi-modal entity alignment (MMEA). Existing approaches often directly fuse the image with other modalities to align different entities. Although simple, such strategies overlook the potential noise in the images and their semantic misalignment with corresponding entities, resulting in suboptimal fusion and degraded performance. Addressing this, we propose a novel Reliability-Aware framework for MMEA (RA-MMEA), which assesses visual reliability and adaptively improves unreliable visual representations for robust entity alignment. The core lies in two modules, including dependency-aware visual reliability prediction (DA-VRP) and stability-regularized visual embedding generation (SR-VEG). The former aims to estimate the reliability of an image by leveraging multi-modal dependency within the entity, while the latter focuses on producing alternative visual representation conditioned on semantics encoded in textual modalities for multi-modal fusion. Compared to current methods, RA-MMEA enables more reliable visual representations for modality fusion, thereby improving performance. In extensive experiments, RA-MMEA achieves state-of-the-art results, verifying the importance of reliable visual modality for entity alignment and the effectiveness of RA-MMEA. The code and results will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23267v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.