ProtoVis-Nav: 시각-공간 정렬 UAV 내비게이션을 위한 프로토타입 기반 시각적 상상
ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation
한국어 초록
시각 언어 내비게이션(VLN)은 3D 움직임 예측의 작은 오류가 내비게이션 오류와 충돌로 이어질 수 있어 무인 항공기(UAV)에게 매우 어려운 과제이다. 기존 방법은 3D 환경에서의 실행 결과를 가늠하지 못해 언어 지시로부터 정확한 내비게이션 경유점을 예측하는 데 어려움을 겪는 경우가 많다. 이를 해결하기 위해 우리는 프로토타입 기반 시각적 상상 프레임워크, 줄여서 ProtoVis-Nav를 제안한다. 이 프레임워크는 모델이 UAV의 의도된 다음 이동에 대해 결과와 연관된 국소 시각 표현을 상상하도록 강제한다. 구체적으로 특징 프로토타입을 예측하고 그 선형 결합을 사용하여 목표 영역의 시각 특징을 추정한다. 이렇게 하여 VLN 모델은 먼저 의도된 다음 위치의 국소 시각 표현을 상상하고, 이후 예측된 프로토타입을 컨텍스트로 사용해 최종 행동을 생성함으로써 시각적 컨텍스트와 경유점 출력 간의 정렬을 촉진한다. 폭넓은 실험을 통해 ProtoVis-Nav 프레임워크의 효과를 입증하였으며 기존 베이스라인 대비 상당한 성능 향상을 보였다.
원문 초록
Vision language navigation (VLN) is very challenging for Unmanned Aerial Vehicles (UAVs) since small errors in 3D motion prediction can lead to navigation errors and collisions. Unable to fathom execution outcomes in 3D environments, existing methods often struggle to predict accurate navigation waypoints from language instructions. To solve this, we introduce the Prototypical Visual Imagination framework, shortened as ProtoVis-Nav, which forces the model to imagine an outcome-associated local visual representation for the intended next UAV movement. Specifically, we predict feature prototypes and use their linear combination to estimate the visual feature of the target region. In this manner, the VLN model first imagines the local visual representation of the next intended location, and then uses predicted prototypes as context for generating the final action, promoting alignment between visual context and waypoint outputs. Extensive experiments demonstrate the effectiveness of the ProtoVis-Nav framework and show substantial improvements over existing baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.