학습 없는(training-free) ObjectNav 에이전트는 점점 더 비전-언어 모델(VLM)을 사용하지만, 일반적으로 각 요청 후 획득한 장면 지식을 버립니다. 우리는 에피소드 간 ObjectNav를 연구하며, 여기서 각 요청은 독립적으로 초기화된 단일 목표 에피소드이고 에피소드 간에 유지되는 것은 자체적으로 획득한 장면 범위 메모리뿐입니다. 고정된 모델 파라미터와 내비게이션 구성 요소를 가진 에이전트가 재학습이나 오라클 정보 없이 이러한 경험을 재사용할 수 있는지 묻습니다. 우리는 지속적인 계층적 시각-위상 메모리(Hierarchical Visual-Topological Memory, VTM)를 갖춘 학습 없는 프레임워크인 VTM-Nav를 제안합니다. VTM은 거친 방 위상 구조를 사용하여 방별 시각 메모리를 색인하고, 방 내부와 원격 가시 증거를 구분하며, 성공적인 접근 단서를 유지합니다. 각 요청에 대해 VTM-Nav는 누적된 장면 구조에서 에이전트를 재위치시키고, 그럴듯한 방에서 목표 관련 기록을 검색하며, 현재 관측에서 도출된 후보에 메모리 안내를 그라운딩(grounding)합니다. 보수적인 실행 가드(execution guard)는 추가로 국소적 실패를 처리합니다. 일치하는 40스텝 비교에서 VTM-Nav는 HM3D v0.1, HM3D v0.2, MP3D에서 각각 메모리 리셋 WMNav 대조군보다 SR 4.6, 2.0, 0.8 포인트 높으며, SPL은 유사하거나 더 높습니다. HM3D에서는 텍스트 메모리를 활용한 WMNav보다 SR 3.1 및 5.5 포인트 높기도 합니다. 이 결과는 계층적 시각-위상 메모리를 통한 에피소드 간 장면 경험의 효과적인 재사용을 보여줍니다.
배송, 캠퍼스, 비상 대응 등의 환경에 배치된 로봇은 종종 단일 연속 에피소드 내에서 건물에서 거리까지 이동해야 한다. 기존 벤치마크는 보통 실내와 실외 내비게이션을 별도로 평가하며, 많은 경우 로봇 실행을 추상화하여 출구 탐색, 경계 통과, 적응, 운동학적(kinodynamic) 실패가 충분히 탐구되지 않은 채 남아 있다. 우리는 실내-실외 체화 내비게이션을 위한 물리 시뮬레이션이 가능한 벤치마크인 NavVerse를 제안한다. NavVerse는 100개의 실내 장면, 50개의 도시 실외 장면, 50개의 실내-실외 장면, 그리고 Object Navigation, Vision-and-Language Navigation, Place Navigation 과제를 아우르는 10,000개의 에피소드를 포함하며, 에이전트는 식당이나 은행과 같은 의미적 관심 지점을 탐색한다. 에이전트는 실행 가능한 로봇 인터페이스를 통해 과제 성공률, 경로 효율성, 안전성 지표로 평가된다. 강화학습(RL), VLA, 모듈형 베이스라인을 사용한 제로샷 실험은 현재 에이전트가 교차 맥락 내비게이션을 해결하기에는 여전히 한참 멀었다는 것을 보여준다: end-to-end VLA가 가장 높은 제로샷 성공률을 달성하는 반면, 모듈형 방법이 가장 강한 안전성 프로필을 제공한다. PlaceNav는 실외에서 실내-실외 장면으로 넘어갈 때 뚜렷한 성능 하락을 추가로 보여주며, 적응이 여전히 주요 병목임을 시사한다.
3D 장면의 공간적 및 시간적 통합 이해는 일상적인 가정 환경에 배치된 로봇에게 필수적인 요구 사항입니다. 이러한 에이전트는 공간 레이아웃을 이해하고 내비게이션을 수행해야 할 뿐만 아니라, 이러한 공간이 시간이 지남에 따라 어떻게 변화하는지에 대해 추론할 수 있어야 합니다. 특히, 인간은 매일 객체와 상호작용하여 환경 전체에서 객체의 위치를 변경시키며, 이로 인해 로봇이 현재 관측을 이전에 본 객체와 신뢰할 수 있게 연관 짓는 것이 어렵습니다. 그러나 이러한 상호작용은 무작위가 아닙니다. 인간의 습관과 루틴은 객체 위치에 시공간적으로 일관된 패턴을 유발하며, 로봇 에이전트는 이를 학습하여 내비게이션과 같은 다운스트림 태스크에 활용할 수 있습니다. 이를 위해 우리는 연속적인 3D 공간에서 동적 객체의 미래 위치에 대한 멀티모달 분포를 추정하는 잠재 플로우 매칭 모델인 FlowMaps를 소개합니다. 객체 간의 암묵적 의존성과 시간적 진화를 학습함으로써, FlowMaps는 과거 인간 상호작용에 조건화된 객체 위치의 가능한 변화를 예측하며, 유사한 객체 루틴을 공유하는 이전에 본 적 없는 환경에 대한 일반화를 지원합니다. 이 방법의 유용성을 입증하기 위해, 우리는 시뮬레이션 및 실제 환경 모두에서 다운스트림 동적 객체 내비게이션 태스크에 FlowMaps를 배포했습니다. 600개 이상의 에피소드에 걸쳐 FlowMaps는 최첨단 접근법보다 우수한 성능을 보여주었으며, 이는 연속적이고 멀티모달한 시공간 분포를 통한 객체 역학 모델링이 변화하는 가정 환경에서 로봇 탐색 및 내비게이션을 향상시킴을 보여줍니다. 코드 및 추가 자료는 https://fra-tsuna.github.io/flowmaps/ 에서 확인할 수 있습니다.
미지의 실내 환경에서의 객체 내비게이션은 에이전트가 부분적 관찰 상황에서 의미론적 검색을 수행하는 것을 요구합니다. 비전-언어 모델(VLM)은 이 작업을 위해 강력한 의미-공간적 사전 지식(priors)을 제공하지만, 이를 로봇 내비게이션과 인터페이스하는 방법은 여전히 어려운 과제입니다. 밀집한 VLM 추론은 비용이 많이 들며, 환경을 기호적 메모리로 추상화하는 것은 종종 고수준 추론을 이를 뒷받침하는 원시 시각적 증거와 분리시킵니다. 본 논문에서는 객체 내비게이션을 원시 관찰에 기반한 희소 결정 문제로 공식화하는 VLM 기반 프레임워크인 PIGEON(Point of Interest Guided Exploration for Object Navigation)을 제안합니다. PIGEON은 기하학적으로 실행 가능한 웨이포인트(waypoints)와 원시 자기 중심적 관찰(egocentric observations)을 결합하는 희소 시각적 결정 단위로서 관심 지점(PoIs)을 도입합니다. PIGEON은 VLM을 밀집 제어기로 사용하거나 프론티어(frontier) 순위 매기기로 제한하는 대신, VLM이 탐험 프론티어, 의심되는 대상 객체, 통과 가능한 계단, 바닥 수준 요약(floor-level summaries)을 포함한 작업 중요 PoI 중에서 선택하도록 합니다. 이와 동시에 저수준 플래너(planners)는 이들 사이의 연속적인 움직임을 실행합니다. 이러한 PoI 인터페이스는 고수준 내비게이션 결정을 검증 가능하게 만들어, 수동적인 사고의 연쇄(Chain-of-Thought) 주석 없이 로컬 VLM을 개선하는 RLVR 파이프라인을 개발할 수 있게 합니다. Habitat ObjectNav 벤치마크에 대한 광범위한 실험을 통해 PIGEON은 최첨단 제로샷(zero-shot) 성능을 달성하고, 파운데이션 모델 용량에 따라 일관되게 확장되며, 프롬프트 수정만으로 능동형 구체화 질의 응답(Active Embodied Question Answering)으로 전이됨을 보여줍니다. 실제 로봇에 대한 실제 환경 배포는 그 견고성과 효율성을 추가로 입증합니다.