arXiv:2607.25106v1 cs.CV

IMPRINT: 롱테일 물체 목표 내비게이션을 위한 이미지 조건부 쿼리 강화

IMPRINT: Image-Conditioned Query Enrichment for Long-Tail Object Goal Navigation

Jelin Raphael Akkara, Filippo Ziliotto, Luciano Serafini, Lamberto Ballan, Tommaso Campari

제출 2026-07-27

한국어 초록

체화 인공지능(Embodied AI)은 제로샷(zero-shot) 물체 목표 내비게이션(ObjectNav)을 가능하게 하기 위해 사전학습(pre-training)된 비전-언어 모델(VLM)로 구축한 질의 가능한 시맨틱 지도에 점점 더 의존하고 있습니다. 그러나 기존 접근 방식은 일반적으로 텍스트 전용 쿼리에 의존하므로 세분화된 객체 카테고리로 갈수록 의미적 구체성이 높아짐에 따라 신뢰도가 떨어집니다. 본 논문에서는 질의 가능한 지도에서의 그라운딩(grounding)을 개선하기 위해 웹에서 수집한 이미지로 텍스트 객체 쿼리를 강화하는 제로샷 플러그 앤 플레이 프레임워크인 IMPRINT를 소개합니다. 검색된 이미지는 비전-언어 모델을 사용하여 인코딩되고, 시맨틱 지도와 매칭되어 유사도 지도를 생성하며, 종합되어 문맥 인식 위치 추정을 제공합니다. 특히 이는 기본 내비게이션 정책의 추가 학습(training)이나 수정을 전혀 요구하지 않습니다. 롱테일(long-tail) 행동을 명시적으로 평가하기 위해 Habitat Synthetic Scenes를 기반으로 구축되고 의미론적으로 구체적인 하위 카테고리를 특징으로 하는 새로운 ObjectNav 벤치마크인 HSSD-rare를 제시합니다. OVON과 HSSD-rare 전반에서 이미지 조건부 쿼리는 객체 그라운딩을 일관되게 개선하고 엔드투엔드(end-to-end) 내비게이션 성능 향상을 가져옵니다. 추가 분석을 통해 위치 추정 성능 향상을 내비게이션 성능으로 전환하는 것은 다운스트림 탐지 품질에 결정적으로 의존함을 확인하였으며, 이는 롱테일 체화 내비게이션의 주요 시스템 병목 현상을 강조합니다.

원문 초록

Embodied AI increasingly relies on queryable semantic maps built from pre-trained vision-language models to enable zero-shot Object Goal Navigation (ObjectNav). However, existing approaches typically depend on text-only queries, which become less reliable as semantic specificity increases toward fine-grained object categories. We introduce IMPRINT, a zero-shot plug-and-play framework that enriches textual object queries with web-sourced images to improve grounding in queryable maps. Retrieved images are encoded using a vision-language model, matched against the semantic map to produce similarity maps, and aggregated to yield context-aware localization. Notably, this requires no training or modification of the underlying navigation policy. To explicitly evaluate long-tail behavior, we present HSSD-rare, a new ObjectNav benchmark built on Habitat Synthetic Scenes and featuring semantically specific subcategories. Across both OVON and HSSD-rare, image-conditioned queries consistently improve object grounding and yield end-to-end navigation gains. Further analysis reveals that translating localization gains to navigation performance depends critically on downstream detection quality, highlighting a key systems bottleneck in long-tail embodied navigation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25106v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.