시각적 유사성을 넘어서: 지식 기반 시각적 질의응답을 위한 엔티티 정렬 검색
Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
한국어 초록
지식 기반 시각적 질의응답(KB-VQA)은 long-tail 엔티티를 다루는 질의에 답하기 위해 외부 정보를 검색하는 데 의존한다. 그러나 기존 검색 파이프라인은 주로 CLIP 스타일의 이중 인코더(dual encoder)를 사용하며, 엔티티 수준의 의미적 정렬(alignment)보다 표면 수준의 시각적 유사성을 우선시한다. 이 패러다임은 의미적으로 동일한 개념이 큰 시각적 변화를 보일 때, 또는 서로 다른 엔티티가 시각적으로 유사해 보일 때 종종 실패한다. 이를 해결하기 위해, 우리는 KB-VQA에 맞춘 최초의 MLLM 기반 임베딩 검색기 KBMR을 제안한다. MLLM의 강건한 자기회귀(autoregressive) 능력을 활용하여, KBMR은 개념의 동일성(concept identity)을 더 잘 보존하는 의미 공간(semantic space)으로 이미지를 매핑한다. 위키피디아 규모 검색에서의 노이즈가 많은 supervision 문제를 다루기 위해, 연속적인 엔티티 일관성(entity-consistency) 가중치를 생성하는 MLLM 기반 의미적 판별기(semantic discriminator)를 도입한다. 이러한 가중치는 새로운 연속적 의미 지식 증류(distillation) 목적 함수를 안내하며, 경직된 이진 레이블을 넘어서는 효과적인 hard negative 샘플링과 soft supervision을 가능하게 한다. 광범위한 실험 결과, KBMR은 CLIP 기준선을 크게 능가하며, 검색 재현율@1(Recall@1)에서 최대 14.7%, end-to-end VQA 정확도에서 9.4%의 향상을 보였다. 코드는 https://github.com/realHarryX/KBMR 에서 제공된다.
원문 초록
Knowledge-Based Visual Question Answering (KB-VQA) relies on retrieving external information to answer queries involving long-tail entities. However, existing retrieval pipelines predominantly employ CLIP-style dual encoders, which prioritize surface-level visual similarity over entity-level semantic alignment. This paradigm often fails when semantically identical concepts exhibit large visual variations or when distinct entities appear visually similar. To address this, we propose KBMR, the first MLLM-based embedding retriever tailored for KB-VQA. Leveraging the robust autoregressive capabilities of MLLMs, KBMR maps images into a semantic space that better preserves concept identity. To tackle the challenge of noisy supervision in Wikipedia-scale retrieval, we introduce an MLLM-based semantic discriminator that generates continuous entity-consistency weights. These weights guide a novel continuous semantic distillation objective, enabling effective hard negative sampling and soft supervision beyond rigid binary labels. Extensive experiments demonstrate that KBMR significantly outperforms CLIP baselines, yielding up to a 14.7% improvement in retrieval Recall@1 and a 9.4% gain in end-to-end VQA accuracy. Code is available at https://github.com/realHarryX/KBMR.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.21450v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.