STARS: 인간-로봇 상호작용에서 시공간 동역학부터 사회적 표현까지
STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction
동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.