미지 환경에서 대상 객체를 효율적으로 찾기 위해 EffiNav는 깊이(depth) 기반 후보 영역 생성과 오픈소스 VLM의 ego-centric·top-down 이중 검증, 탐험 이력 기반 중복 탐색 억제를 결합한 비학습 ObjNav 프레임워크를 제안한다. HM3D·OVON·GOAT-BENCH 및 실제 로봇 평가에서 성공률(SR)과 경로 길이 가중 성공(SPL) 기준으로 최근 베이스라인과 대등하거나 이를 능가해 효율성과 일반화 가능성을 입증했다.
Language-conditioned goal navigation requires embodied agents to locate user-specified targets without step-by-step guidance. However, existing benchmarks largely focus on category-level goals or rely on instance descriptions generated by vision-language models, which often contain ambiguities and semantic errors, limiting systematic and reliable evaluation. We introduce HieraNav, an open-vocabulary navigation task with goals at four hierarchical semantic levels: scene, room, region, and instance. We present Language as a Map (LangMap), the first goal navigation benchmark to enrich real-world indoor 3D scans with human-verified semantic annotations supporting tasks across all four goal levels. Built on HM3D using a contrastive annotation protocol that compares same-scene regions and instances, LangMap provides region labels and discriminative region and instance descriptions covering 414 object categories and contains over 18K tasks. Each target has concise and detailed descriptions, enabling evaluation across instruction styles. Automated and human evaluations validate our annotation quality: our descriptions improve text-to-view matching accuracy over GOAT-Bench's by 23 points on all shared annotated instances, and an independent human audit yields 92.5% unique-and-correct matches. We also propose PlaNaVid, an RGB-only baseline that combines Bounded Diverse Memory with high-level planning to prime a reactive policy for multi-goal navigation, achieving top-tier success rates without depth, 3D scene representations, or object masks. Further analyses reveal that exploration and hierarchical disambiguation failures become more prominent at finer goal levels, while long-tail categories, small objects, distant targets, timely stopping, and multi-goal completion remain challenging. Benchmark and code: https://bo-miao.github.io/LangMap
제로샷 객체 목표 내비게이션(zero-shot object-goal navigation)은 특정 목표에 대한 학습 없이 낯선 환경에서 알려지지 않은 범주의 객체를 탐험하고 그곳으로 이동할 수 있도록 지능형 에이전트를 가능하게 하는 것을 목표로 한다. 제로샷 내비게이션 과제에서는 사전학습된 대규모 모델을 활용하여 사전 지식으로 에이전트의 내비게이션을 안내하는 경우가 일반적이다. 그러나 대규모 언어 모델(LLM) 기반의 기존 제로샷 객체 목표 내비게이션 방법들은 LLM을 평면적인 추론 도구로만 사용하여 객체 또는 영역을 직접 연관 짓는다. 이들은 객체 국소화를 위한 인간과 유사한 방 의미론의 계층적 공간 인지 모델링이 부족하여, 탐험의 심각한 맹목성, 의미 연관의 부족한 정확도, LLM의 상식 추론 잠재력을 완전히 발휘하지 못하는 문제를 초래한다. 본 논문은 제로샷 객체 목표 내비게이션을 위한 LLM 기반 계층적 방-객체(HRO) 프레임워크를 제안하며, 이는 에이전트가 거친-세밀(coarse-to-fine) 방식으로 목표 객체를 탐험하고 내비게이션하도록 안내한다. Gibson 및 HM3D 데이터셋에서의 실험은 HRO 프레임워크가 기존 LLM 기반 방법 대비 우수한 성공률과 일반화 성능을 달성함을 검증하며, 제로샷 객체 목표 내비게이션에서 LLM의 강력한 잠재력을 강조한다.
제로샷 객체 목표 내비게이션(ZS-OGN)은 구현형 에이전트(embodied agent)가 사전 학습 없이 탐험하여 대상 객체를 찾아내도록 요구합니다. 이를 위해 최근 방법들은 파운데이션 모델을 활용합니다. 하지만 이들은 일반적으로 정적 사전 지식(priors)에 의존하고 적응성이 부족하여, 반복되는 오류와 비용이 많이 드는 시행착오로 이어집니다. 본 논문에서는 테스트 타임(test-time) 지속적 개선을 가능하게 하는 자가 진화 ZS-OGN 프레임워크를 제안합니다. 구체적으로, 과거 궤적(trajectories)에서 실행 가능한 지식을 추출하여 에이전트 규칙 메모리를 구축합니다. 그 후, 상위 신뢰 구간(UCB)에 기반한 검색 전략을 제안하여, 의미적 관련성과 과거 성공 기록을 균형 있게 고려하여 효과적인 규칙을 선택합니다. 또한, 행동 전에 잠재적 결과를 예측하여 비효율적인 탐험을 줄이는 메모리 기반 사전 반성(preflection) 모듈을 도입합니다. 광범위한 실험 결과, 우리의 방법은 기존 제로샷 기준 모델(baselines)보다 우수한 성능을 보이며, 불필요한 단계(steps)를 줄이면서 성공률을 10.1% 향상시킴을 확인했습니다.