arXiv:2608.08077v2 cs.AI

탐색, 지도화, 기억, 결정: 안전 필수 시나리오에서 VLM 준비도를 평가하는 벤치마크

Explore, Map, Remember, Decide: A Benchmark for VLM Readiness in Safety-Critical Scenarios

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

제출 2026-08-08

한국어 초록

비전-언어 모델(VLM)은 로봇공학에서 체화된 제어기로 흔히 배치되지만, 환경을 탐색하고 내부 지도를 유지하며 장기 순차 궤적에서 안전 필수 결정을 근거 있게 내리는 능력이 어느 정도인지는 여전히 불분명하다. 본 연구에서는 공간 추론을 네 단계, 즉 탐색(Explore, 에이전트가 관찰하는 것), 지도화(Map, 무엇을 어디에 기록하는가), 기억(Remember, 무엇을 유지하는가), 결정(Decide, 최종 선택이 정당화되는가)으로 분리하고 18개의 단계별 지표로 점수를 매기는 평가 프레임워크 EMRD를 제안한다. EMRD를 사용하여 16개 건물에서 정상 조건과 세 가지 환경 스트레스(어둠, 연기, 움직임 잡음) 하에 11개의 오픈 가중치 및 클로즈드 가중치 VLM을 평가하였다. 여기서 체화된 VLM은 미지의 방을 탐색하고, 관찰한 객체를 지도에 기록하며, 가장 안전한 집결 장소를 선택한다. 오픈 가중치 모델은 95%의 에피소드에서 방을 방문하지 않은 채 남겨 두었고 객체를 최대 51%만 탐지하였다. 클로즈드 가중치 모델은 더 많이 탐색하지만, 외부 메모리(메모장)를 사용할 때 세 모델 중 두 모델이 조기에 중단한다. 외부 메모리가 없으면 대부분의 VLM은 특히 큰 건물에서 본 객체를 더 적게 유지한다. 시작 위치는 탐색되는 방을 제한하며, 서로 다른 방에서 시작한 오픈 가중치 모델들이 최종 방에 대해 일치하는 빈도는 우연보다 유의하게 높지 않다. 더욱이 이러한 선택은 의미적 사전 지식에 의해 편향되어 있어, 방의 레이블을 바꾸는 것만으로도 최종 선택이 바뀌는 경우가 많다. 마지막으로, 움직임 잡음은 객체 위치 오차를 증가시키고(클로즈드 가중치 모델의 경우 12~60%), 강한 어둠은 지도 재현율을 28~31 퍼센트포인트 낮추며, 짙은 연기는 관찰된 객체를 25~39포인트 감소시키지만, 진입한 방들 사이의 선택은 유의하게 변하지 않는다.

원문 초록

Vision-Language Models (VLMs) are often deployed as embodied controllers for robotics, yet it remains unclear how well they can explore an environment, maintain an internal map, and ground safety-critical decisions in long-horizon sequential trajectories. In this work, we introduce EMRD, an evaluation framework that decouples spatial reasoning into four stages: Explore (what the agent observes), Map (what it records and where), Remember (what it retains), and Decide (whether its final choice is justified), scored across 18 stage-specific metrics. We use EMRD to evaluate eleven open- and closed-weight VLMs across 16 buildings under nominal conditions and three environmental stresses (darkness, smoke, and motion noise), where an embodied VLM explores unknown rooms, maps observed objects, and selects the safest gathering place. Open-weight models leave rooms unvisited in 95% of episodes and detect at most 51% of objects; closed-weight models explore more, though with an external memory (notepad), two of the three stop prematurely. Without external memory, most VLMs keep fewer of the objects they saw, especially in larger buildings. The start limits which rooms are explored, and open-weight models started in different rooms agree on the final room not significantly more often than chance. Moreover, these choices are biased by semantic priors: swapping a room's label is often enough to change the final choice. Finally, motion noise increases object position error (by 12-60% for closed-weight models), strong darkness lowers map recall by 28-31 percentage points, and dense smoke reduces seen objects by 25-39 points, while the choice among the rooms entered does not change significantly.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08077v2제출 시각 미확인
  2. arXiv:2608.08077v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.