arXiv:2009.08792

Commands 4 Autonomous Vehicles (C4AV) Workshop Summary

Thierry Deruyttere, Simon Vandenhende, Dusan Grujicic, Yu Liu, Luc van Gool, Matthew Blaschko, Tinne Tuytelaars, Marie-Francine Moens

제출 2020-09-18

원문 초록

The task of visual grounding requires locating the most relevant region or object in an image, given a natural language query. So far, progress on this task was mostly measured on curated datasets, which are not always representative of human spoken language. In this work, we deviate from recent, popular task settings and consider the problem under an autonomous vehicle scenario. In particular, we consider a situation where passengers can give free-form natural language commands to a vehicle which can be associated with an object in the street scene. To stimulate research on this topic, we have organized the \emph{Commands for Autonomous Vehicles} (C4AV) challenge based on the recent \emph{Talk2Car} dataset (URL: https://www.aicrowd.com/challenges/eccv-2020-commands-4-autonomous-vehicles). This paper presents the results of the challenge. First, we compare the used benchmark against existing datasets for visual grounding. Second, we identify the aspects that render top-performing models successful, and relate them to existing state-of-the-art models for visual grounding, in addition to detecting potential failure cases by evaluating on carefully selected subsets. Finally, we discuss several possibilities for future work.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08267v1cs.CV공통 태그 Visual Grounding, Referring Expression Comprehension

UniRef-UAV: UAV 영상에서의 범용 참조를 위한 멀티모달 벤치마크

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

무인 항공기(UAV)는 복잡한 항공 장면에서 다양한 인스트럭션으로부터 작업 관련 대상을 위치 특정하기 위한 시각적 그라운딩(visual grounding) 능력에 점점 더 의존하고 있다. 그러나 기존의 참조 표현 이해(REC) 벤치마크와 방법들은 대부분 텍스트 전용 쿼리와 단일 객체 출력을 중심으로 구축되어 있어, 참조 이미지, 멀티모달 인스트럭션, 대상 부재, 복수의 유효한 대상 인스턴스를 포함하는 실제 UAV 시나리오에의 적용 가능성이 제한된다. 이러한 격차를 해소하기 위해, 우리는 쿼리 모달리티와 출력 카디널리티를 동시에 확장한 일반화된 UAV 참조 태스크인 \emph{범용 참조(Universal Referring)}를 제안한다. 우리는 모달리티 의존적 대상 카디널리티를 갖는 텍스트 전용, 이미지 전용, 텍스트+이미지 쿼리를 지원하는 멀티모달 벤치마크 \emph{UniRef-UAV}를 구축하였다. 텍스트 전용 및 텍스트+이미지 쿼리는 대상 없음, 단일 대상, 다중 대상 그라운딩을 허용하는 반면, 이미지 전용 쿼리는 존재 인식 단일 인스턴스 그라운딩에 집중한다. 또한 시각적 쿼리 일반화를 위한 도메인 내 및 교차 도메인 평가 프로토콜을 제공한다. 나아가, 이종 쿼리를 공유 쿼리 공간으로 매핑하고 집합 예측(set prediction)을 통해 가변 크기의 대상 집합을 예측하는 탐지 방식 기준선인 \emph{UAV-URNet}을 제시한다. 광범위한 실험을 통해 UAV-URNet이 대형 범용 멀티모달 대규모 언어 모델(MLLM)에 비해 더 일관된 대상 없음 판별과 더 경량화되고 재현 가능한 구현을 갖춘 안정적이고 재현 가능한 기준선을 제공함을 보인다. 추가적인 도메인 분석, 쿼리 표현 분석 및 어블레이션 연구를 통해 멀티모달 쿼리가 시각적 쿼리 모호성을 줄이고 더욱 통합된 쿼리-대상 정렬 공간을 촉진함을 입증한다. 어노테이션, 시각적 쿼리 크롭/이미지, 학습/검증/테스트 분할, 평가 스크립트 및 기준선 코드는 재현 가능한 연구를 촉진하기 위해 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.