MAGNet: Multi-Region Attention-Assisted Grounding of Natural Language Queries at Phrase Level
원문 초록
Grounding free-form textual queries necessitates an understanding of these textual phrases and its relation to the visual cues to reliably reason about the described locations. Spatial attention networks are known to learn this relationship and focus its gaze on salient objects in the image. Thus, we propose to utilize spatial attention networks for image-level visual-textual fusion preserving local (word) and global (phrase) information to refine region proposals with an in-network Region Proposal Network (RPN) and detect single or multiple regions for a phrase query. We focus only on the phrase query - ground truth pair (referring expression) for a model independent of the constraints of the datasets i.e. additional attributes, context etc. For such referring expression dataset ReferIt game, our Multi-region Attention-assisted Grounding network (MAGNet) achieves over 12\% improvement over the state-of-the-art. Without the context from image captions and attribute information in Flickr30k Entities, we still achieve competitive results compared to the state-of-the-art.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MIRCaps: 세밀한 비전-언어 학습을 위한 이미지 수준 및 영역 수준 캡션이 포함된 대규모 혼합 도메인 데이터셋
MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning
비전-언어 모델(VLM)의 최근 발전에도 불구하고, 범용 및 CCTV 기반 영상 감시 시스템 모두를 위한 혼합 도메인 이미지-캡션 데이터셋은 여전히 제한적이다. 이러한 공백을 메우기 위해, 우리는 141,364개의 이미지, 981,947개의 이미지 수준 캡션, 1,742,264개의 영역 수준 캡션, 1,391,779개의 경계 상자 주석으로 구성된 대규모 멀티모달 데이터셋을 제안한다. 각 이미지는 전체 장면의 서로 다른 측면을 설명하는 평균 7개의 이미지 수준 캡션과, 주석이 달린 각 경계 상자에 대한 7개의 영역 수준 캡션과 연관된다. 이러한 상호 보완적인 캡션 유형은 객체 범주, 추정 크기, 색상, 행동, 상태, 주변 환경 맥락을 포함한 세밀한 시각적 속성을 VLM이 학습하도록 돕도록 설계되었다. 우리는 이미지 캡셔닝과 객체 검출이라는 두 가지 중요한 다운스트림 태스크에서 데이터셋의 효과를 입증한다. 실험 결과, SmolVLM-256M-Instruct, BLIP, BLIP2, Qwen2.5-VL 3B-Instruct를 포함한 경량 VLM이 우리 데이터셋을 사용하여 효과적으로 파인튜닝될 수 있음을 보여준다. 우리의 데이터셋과 코드는 https://zenodo.org/records/20418601 에서 공개적으로 이용할 수 있다.
Mask-aware Text-to-Image Retrieval: Referring Expression Segmentation Meets Cross-modal Retrieval
Hallucination at a Glance: Controlled Visual Edits and Fine-Grained Multimodal Learning
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.