지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.
물체가 가려져 있는 동안에도 해당 물체의 정체성과 위치를 계속 추적하는 대상 영속성(Object permanence)은 추적, 예측, 계획을 수행하는 비디오 표현에서 핵심적인 요소입니다. 이를 달성하는 기존 추적기(tracker)들은 바운딩 박스, 트랙 정체성, 가시성 라벨로부터 학습합니다. 반면, 자기지도 객체 중심(object-centric) 방식은 라벨 없이 물체를 찾아냅니다. 즉, 슬롯 어텐션(slot attention)을 통해 비디오를 물체에 결합되어 프레임 전반에 걸쳐 물체를 따라가는 슬롯들로 표현합니다. 그러나 이러한 슬롯은 가려짐(occlusion)이 발생하면 소실되어 원하는 영속성을 유지하기 불가능해집니다. 영속성을 추론하는 것은 물체가 가려지는 시점을 감지하고, 다시 나타날 때 재식별하며, 다시 나타남만을 유일한 학습 단서로 활용하여 물체의 숨겨진 위치를 연속적으로 유지해야 하므로 매우 어려운 문제입니다. 이를 해결하기 위해 본 논문에서는 어떠한 라벨도 전혀 사용하지 않고 앞서 언급한 세 가지 요구사항을 모두 충족하는 새로운 프레임워크인 iSEE를 제안합니다. iSEE는 다음과 같이 제안된 세 가지 구성 요소를 기반으로 구축되었습니다: (i) 객체 증거 모델링(Object evidence modelling): 슬롯의 어텐션을 해당 슬롯의 과거와 비교하여 물체가 숨겨진 시점을 파악합니다. (ii) 외형-위치 분리(Appearance-position separation): 두 개의 슬롯 스트림을 통해 위치가 지속적으로 변하는 동안에도 재식별을 위해 외형을 유지하도록 합니다. (iii) 재출현 기반 영속성(Permanence from reappearance): 워커(walker)가 숨겨진 물체의 위치를 추적하며, 물체가 다시 나타나는 지점만을 기반으로 학습됩니다. LA-CATER static 벤치마크에서 iSEE는 가려짐 발생 후 86%의 비율로 다시 나타난 물체를 본래 슬롯으로 되돌려 놓았으며(SlotContrast의 32% 대비), 가려진 상태에서도 라벨 기반으로 학습된 최고 성능(SoTA) 모델인 RAM과의 mAP 격차를 4.1 이내로 유지하며 위치를 파악(localise)했습니다. 또한 이 두 스트림을 통해 위치 스트림을 월드 모델의 행동(action)으로 활용함으로써 다운스트림 계획도 가능하게 합니다. 프로젝트 페이지: https://insait-institute.github.io/iSEE/
시각적 세계를 지각하고 기억하는 것은 환경을 탐색하고 상호작용하는 데 필수적입니다. 카메라 제어가 가능한 비디오 모델이나 4D 재구성 모델과 같은 최신 4D 파운데이션 모델은 동적 환경을 지각하고 재구성할 수 있지만, 지각한 내용을 얼마나 잘 기억하는지는 여전히 미해결 과제로 남아 있습니다. 기존 벤치마크는 주로 픽셀 수준의 지표에 의존하며, 객체가 시야(field of view)를 벗어난 후에는 정답(ground truth)이 부족하여 참조 대비 객체 중심 방식으로 시각적 기억을 평가할 수 없습니다. 이러한 공백을 메우기 위해 본 논문에서는 전방위 정답(ground truth)으로 360{\deg} 비디오를 활용하고 객체 영속성(object permanence), 움직임 연속성(motion continuity), 외형 보존(appearance preservation)의 세 가지 평가 측면을 제안하는 데이터셋이자 메트릭 스위트인 PersistBench를 소개합니다. 다양한 범주에 걸쳐 여러 모델을 평가한 결과, 현재 모델들은 객체가 시야를 벗어나면 크게 저하되는 단기적 일관성만을 유지할 수 있음을 확인했습니다. 본 연구 결과는 현재 모델 역량과 견고한 시각적 기억 사이의 격차("보는 것이 기억하는 것은 아니다")를 강조하며, 향후 4D 파운데이션 모델 개발을 위한 지침을 제공합니다. 데이터셋과 코드는 프로젝트 페이지(https://guangzhaohe.com/persistbench)에서 확인할 수 있습니다.