TAVIS: 모방 학습에서의 1인칭 시점 능동 비전 및 예측 시선 벤치마크
TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning
조작(manipulation) 과정에서 정책이 스스로 시선을 제어하는 능동 비전(active vision)은 모방 학습(imitation learning)의 핵심 역량으로 부상했으며, 지난 1년 동안 여러 독립적인 시스템을 통해 그 이점이 입증되었습니다. 그러나 여러 접근법을 비교하거나, 능동 비전이 어떤 작업 유형과 조건에서 무엇을 기여하는지 정량화할 수 있는 공유 벤치마크는 부재한 상황입니다. 본 논문에서는 IsaacLab을 기반으로 구축되었으며 두 가지 휴머노이드 상체 임바디먼트(GR1T2, Reachy2)를 지원하고 상호 보완적인 두 가지 작업 스위트인 TAVIS-Head(팬/틸트 목 관절을 통한 전역 탐색, 5개 작업) 및 TAVIS-Hands(손목 카메라를 통한 국소 차폐, 3개 작업)를 포함하는 능동 비전 모방 학습 평가 인프라 TAVIS를 소개합니다. TAVIS는 세 가지 평가 프리미티브를 제공합니다: 동일한 시연(demonstration) 데이터를 사용하는 쌍체 헤드 카메라 대 고정 카메라(headcam-vs-fixedcam) 프로토콜, 학습된 정책의 예측 시선(anticipatory gaze)을 정량화하며 인지 과학 및 HRI에 기반을 둔 새로운 지표인 GALT(Gaze-Action Lead Time), 그리고 절차적 ID/OOD 분할입니다. Diffusion Policy 및 $π_0$를 사용한 기준선(baseline) 실험을 통해 (i) 능동 비전은 여러 학습(training) 실행에 걸쳐 전반적으로 일관되게 도움이 되지만 그 혜택은 균일하기보다 작업 조건에 따라 달라진다는 점, (ii) 두 작업 스위트 모두에서 통제된 분포 변화(distribution shift) 하에 멀티태스크 정책 성능이 급격히 저하된다는 점, (iii) 모방만으로도 인간 시연과 유사한 리드 타임으로 작업 관련 객체에 도달하는 예측 시선이 형성되지만, 성공률 지표로는 드러나지 않는 액션 청킹(action chunking)의 영향으로 인해 머리 움직임이 시연 데이터보다 덜 매끄럽다는 점을 밝혔습니다. 코드와 평가 스크립트는 https://github.com/spiglerg/tavis 에 공개되어 있으며, 시연 데이터(LeRobot v3.0, 약 2,200개 에피소드) 및 학습된 기준선 모델은 https://huggingface.co/tavis-benchmark 에서 제공됩니다.