arXiv:2003.08717

Giving Commands to a Self-driving Car: A Multimodal Reasoner for Visual Grounding

Thierry Deruyttere, Guillem Collell, Marie-Francine Moens

제출 2020-03-19

원문 초록

We propose a new spatial memory module and a spatial reasoner for the Visual Grounding (VG) task. The goal of this task is to find a certain object in an image based on a given textual query. Our work focuses on integrating the regions of a Region Proposal Network (RPN) into a new multi-step reasoning model which we have named a Multimodal Spatial Region Reasoner (MSRR). The introduced model uses the object regions from an RPN as initialization of a 2D spatial memory and then implements a multi-step reasoning process scoring each region according to the query, hence why we call it a multimodal reasoner. We evaluate this new model on challenging datasets and our experiments show that our model that jointly reasons over the object regions of the image and words of the query largely improves accuracy compared to current state-of-the-art models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08267v1cs.CV공통 태그 Visual Grounding, Referring Expression Comprehension

UniRef-UAV: UAV 영상에서의 범용 참조를 위한 멀티모달 벤치마크

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

무인 항공기(UAV)는 복잡한 항공 장면에서 다양한 인스트럭션으로부터 작업 관련 대상을 위치 특정하기 위한 시각적 그라운딩(visual grounding) 능력에 점점 더 의존하고 있다. 그러나 기존의 참조 표현 이해(REC) 벤치마크와 방법들은 대부분 텍스트 전용 쿼리와 단일 객체 출력을 중심으로 구축되어 있어, 참조 이미지, 멀티모달 인스트럭션, 대상 부재, 복수의 유효한 대상 인스턴스를 포함하는 실제 UAV 시나리오에의 적용 가능성이 제한된다. 이러한 격차를 해소하기 위해, 우리는 쿼리 모달리티와 출력 카디널리티를 동시에 확장한 일반화된 UAV 참조 태스크인 \emph{범용 참조(Universal Referring)}를 제안한다. 우리는 모달리티 의존적 대상 카디널리티를 갖는 텍스트 전용, 이미지 전용, 텍스트+이미지 쿼리를 지원하는 멀티모달 벤치마크 \emph{UniRef-UAV}를 구축하였다. 텍스트 전용 및 텍스트+이미지 쿼리는 대상 없음, 단일 대상, 다중 대상 그라운딩을 허용하는 반면, 이미지 전용 쿼리는 존재 인식 단일 인스턴스 그라운딩에 집중한다. 또한 시각적 쿼리 일반화를 위한 도메인 내 및 교차 도메인 평가 프로토콜을 제공한다. 나아가, 이종 쿼리를 공유 쿼리 공간으로 매핑하고 집합 예측(set prediction)을 통해 가변 크기의 대상 집합을 예측하는 탐지 방식 기준선인 \emph{UAV-URNet}을 제시한다. 광범위한 실험을 통해 UAV-URNet이 대형 범용 멀티모달 대규모 언어 모델(MLLM)에 비해 더 일관된 대상 없음 판별과 더 경량화되고 재현 가능한 구현을 갖춘 안정적이고 재현 가능한 기준선을 제공함을 보인다. 추가적인 도메인 분석, 쿼리 표현 분석 및 어블레이션 연구를 통해 멀티모달 쿼리가 시각적 쿼리 모호성을 줄이고 더욱 통합된 쿼리-대상 정렬 공간을 촉진함을 입증한다. 어노테이션, 시각적 쿼리 크롭/이미지, 학습/검증/테스트 분할, 평가 스크립트 및 기준선 코드는 재현 가능한 연구를 촉진하기 위해 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.