arXiv:2608.01147v2 cs.IR

UniHEAR: 지식 기반 시각적 질문 답변을 위한 통합 이종 소스 어텐션 검색

UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering

Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

제출 2026-08-02

한국어 초록

지식 기반 시각적 질문 답변(KB-VQA)은 시각적으로 그라운딩된(visually grounded) 질문에 답하기 위해 외부 소스로부터 엔티티 지식을 검색해야 합니다. 기존의 검색-증강(retrieval-augmented) 시스템은 두 가지 중요한 한계점을 지닙니다. 첫째, 단일 검색 모달리티에 의존하면 상호 보완적인 소스를 통해서만 접근할 수 있는 정답(ground-truth) 엔티티를 놓치는 단일 소스 검색 병목 현상(Single-Source Retrieval Bottleneck)이 발생합니다. 둘째, 듀얼 타워 포인트와이즈 재순위화기(reranker)는 검색 출처와 후보 수준의 검색 사전 정보(retrieval priors)를 간과하여 불필요한 모달리티 의존성을 유발하는 검색 소스 블라인드 재순위화(Retrieval-Source-Blind Reranking) 문제를 겪습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이종 소스 엔티티 검색 및 재순위화를 위한 통합 경량 프레임워크인 UniHEAR를 제안합니다. UniHEAR는 각 후보 엔티티에 대해 대략적 검색 기술자(Coarse Retrieval Descriptor)를 구축하고, 대략적 검색 사전 정보의 엔트로피 가중 소스 융합(Entropy-Weighted Source Fusion)으로 보완되는 검색 유도 어텐션 모달리티 게이팅(Retrieval-Guided Attentive Modality Gating)을 도입하여 이 기술자에 맞춰 모달리티 어텐션 가중치를 조건화합니다. 대조 학습(contrastive learning)과 보조 모달리티 보존 손실을 결합한 하이브리드 학습 전략은 단일 모델 내에서 엔티티 수준 및 섹션 수준의 검색을 통합합니다. E-VQA 및 InfoSeek에 대한 광범위한 실험 결과, UniHEAR가 경량 재순위화 아키텍처를 유지하면서도 가장 강력한 베이스라인 대비 Recall@1을 각각 6.7포인트 및 1.2포인트 향상시켜 최고 수준의 검색 및 VQA 성능을 달성함을 보여줍니다. 코드와 모델은 https://github.com/iven-luo/UniHEAR 에서 확인할 수 있습니다.

원문 초록

Knowledge-Based Visual Question Answering (KB-VQA) requires retrieving entity knowledge from external sources to answer visually grounded questions. Existing retrieval-augmented systems suffer from two critical limitations. First, relying on a single retrieval modality creates a Single-Source Retrieval Bottleneck, missing ground-truth entities that are only accessible through complementary sources. Second, dual-tower pointwise rerankers suffer from Retrieval-Source-Blind Reranking, as they overlook retrieval origins and candidate-level retrieval priors, leading to redundant modality reliance. To address these challenges, we propose UniHEAR, a unified lightweight framework for heterogeneous-source entity retrieval and reranking. UniHEAR constructs a Coarse Retrieval Descriptor for each candidate entity, and introduces Retrieval-Guided Attentive Modality Gating to condition modality attention weights on this descriptor, complemented by Entropy-Weighted Source Fusion of coarse retrieval priors. A hybrid training strategy combining contrastive learning with an auxiliary modality-preserving loss unifies entity-level and section-level retrieval within a single model. Extensive experiments on E-VQA and InfoSeek demonstrate that UniHEAR achieves state-of-the-art retrieval and VQA performance, improving Recall@1 by 6.7 and 1.2 points over the strongest baselines while maintaining a lightweight reranking architecture. Code and model are available at https://github.com/iven-luo/UniHEAR.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01147v2제출 시각 미확인
  2. arXiv:2608.01147v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.