WikiCLIP: 오픈 도메인 시각적 엔티티 인식을 위한 효율적인 대조 기준선
WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition
WikiCLIP은 Wikipedia 기반 오픈 도메인 시각적 엔티티 인식(VER)에서 생성 모델의 높은 계산 비용 문제를 해결하기 위해, LLM 임베딩을 엔티티 표현으로 활용하고 패치 수준의 시각 정보로 이를 정렬하는 Vision-Guided Knowledge Adaptor(VGKA)와 Hard Negative Synthesis 메커니즘을 결합한 대조 학습(contrastive learning) 프레임워크다. OVEN 벤치마크의 unseen 세트에서 기존 최고 성능 대비 16% 향상된 28.5% 정확도를 달성하면서, 생성 모델 AutoVER 대비 추론 지연 시간을 약 100배 단축하는 데 성공했다.