LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models
로봇 파운데이션 모델은 표준 조작(manipulation) 벤치마크에서 인상적인 성능을 보이지만, 이러한 평가는 일반적으로 실행 전 과정에 걸쳐 깨끗하고 시의적절하며 일관된 시각 관측을 가정한다. 본 논문은 실행 중 이용 가능한 시각적 증거를 교란함으로써 로봇 파운데이션 모델의 폐루프(closed-loop) 시각적 견고성을 체계적으로 평가하기 위한 벤치마크 LIBERO-VPro를 제안한다. LIBERO-VPro는 시각적 증거 열화(Visual Evidence Degradation), 카메라 관측 지연(Camera Staleness), 시각 소스 일관성(Visual Source Consistency), 작업 관련 장면 변화(Task-Relevant Scene Variation)를 포함한 네 가지 상보적 차원을 다루며, 12개의 도전 카테고리, 96개의 실험 설정, 3,296개의 과제-조건 사례를 아우른다. 약 196,000개의 시뮬레이션 에피소드에 걸쳐 세 가지 비전-언어-행동(vision-language-action, VLA) 모델과 세 가지 월드-행동(world-action, WAM) 모델을 평가했으며, Franka Research 3에서 200회의 실제 롤아웃으로 이를 보완했다. 결과는 강한 명목상(nominal) 성능이 시각적 그라운딩(grounding)과 적응(adaptation)에서 상당한 약점을 가릴 수 있음을 보여준다. 모델은 종종 심각한 객체 수준 가림(occlusion)에도 불구하고 성공을 유지하지만, 국소 상호작용 단서가 방해되거나 친숙한 공간적 사전(prior)이 위반되면 급격히 성능이 저하된다. 또한 지연되거나 누락된 관측에 매우 민감하며, 변경된 과제 전제조건이 행동 적응을 요구할 때 어려움을 겪는다. 마지막으로 VLA와 WAM은 서로 다른 견고성 프로파일을 보이며, 시각적 견고성이 다차원적이며 아키텍처에 의존적임을 보여준다. LIBERO-VPro는 어려운 시각 조건 하에서 보다 신뢰성 있게 행동을 그라운딩하고 적응할 수 있는 로봇 파운데이션 모델 개발을 위한 체계적인 진단 프레임워크를 제공한다.