VLM은 묘사할 수 있지만 측정은 못한다: 로봇 조작을 위한 객체 중심 장면 이해
VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation
이전에 보지 못한 환경에서의 로봇 작동에는 의미론적 이해와 신뢰할 수 있는 계량(metric) 정보가 모두 필요하다. 비전-언어 모델(VLM)은 강한 의미론적 능력을 제공하지만, 기하학적 추정은 여전히 덜 신뢰할 수 있다. 본 논문에서는 상용(off-the-shelf) 접근을 사용해 장면 이해를 위한 VLM 기반 모듈형 지각(perception) 프레임워크를 제안한다. 단일 RGB-D 관측에서 출발해 장면을 객체 수준 영역으로 분할하고, VLM으로 주석을 달며, 깊이 정보로 그라운딩(grounding)하여 과제에 독립적인 객체 중심 표현을 구성한다. 151개의 탁상 장면에 대한 실험에서, 제안한 분해는 VLM 직접 추론 대비 강한 의미론적 성능을 유지하면서 위치 추정과 깊이 추정을 크게 개선함을 보인다. 이렇게 얻은 표현은 로봇 실행을 위한 과제 계획(task-planning) 프레임워크와도 통합된다.