arXiv:1803.06506

Learning Unsupervised Visual Grounding Through Semantic Self-Supervision

Syed Ashar Javed, Shreyas Saxena, Vineet Gandhi

제출 2018-03-17

원문 초록

Localizing natural language phrases in images is a challenging problem that requires joint understanding of both the textual and visual modalities. In the unsupervised setting, lack of supervisory signals exacerbate this difficulty. In this paper, we propose a novel framework for unsupervised visual grounding which uses concept learning as a proxy task to obtain self-supervision. The simple intuition behind this idea is to encourage the model to localize to regions which can explain some semantic property in the data, in our case, the property being the presence of a concept in a set of images. We present thorough quantitative and qualitative experiments to demonstrate the efficacy of our approach and show a 5.6% improvement over the current state of the art on Visual Genome dataset, a 5.8% improvement on the ReferItGame dataset and comparable to state-of-art performance on the Flickr30k dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.09522cs.CV공통 태그 Visual Grounding공식 코드 · Papers with Code

Revisit What You See: Disclose Language Prior in Vision Tokens for Efficient Guided Decoding of LVLMs

대형 비전-언어 모델(LVLM)은 시각 인지와 언어 이해를 통합하여 다양한 멀티모달 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 기존 LVLM의 디코딩 전략은 시각 정보를 효과적으로 활용하지 못해 시각적으로 근거 없는 응답을 생성하는 경우가 많습니다. 이러한 한계를 극복하기 위한 여러 접근법이 제안되었으나, 대부분 추가 학습, 다단계 추론 절차 또는 외부 모델 의존성을 필요로 합니다. 본 논문에서는 ReVisiT라는 간단하면서도 효과적인 디코딩 방법을 제안합니다. ReVisiT는 비전 토큰을 참조하여 LVLM의 텍스트 생성 과정을 안내합니다. 본 방법은 비전 토큰에 내재된 의미 정보를 텍스트 토큰 분포 공간으로 사영(projection)하고, 제한된 발산 최소화(constrained divergence minimization)를 통해 각 디코딩 단계에서 가장 관련성 높은 비전 토큰을 동적으로 선택합니다. 선택된 비전 토큰은 시각적 의미를 보다 잘 반영하도록 출력 분포를 정제하는 데 활용됩니다. 두 가지 최신 LVLM과 세 가지 LVLM 환각(hallucination) 벤치마크에서 수행한 실험 결과, ReVisiT는 최소한의 계산 비용으로 시각적 근거를 일관되게 향상시켰습니다. 또한, 본 방법은 최첨단 기준선 대비 경쟁력 있거나 우수한 성능을 달성하면서 계산 비용을 최대 2배까지 절감하였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.