능동적 로봇 비전은 현재 시점에서는 가려져 있는 작업 관련 정보를 드러내기 위해 카메라를 제어해야 합니다. 예를 들어, 상자 안에 무엇이 있는지 파악하려면 카메라를 높여 아래를 내려다보아야 할 수 있습니다. 시점 의존적 질문 답변(viewpoint-dependent question answering)의 과제는 질문에 답하는 데 필요한 시각적 증거를 드러내는 카메라 움직임을 선택하는 것입니다. 비전-언어 모델(VLM)이 관측된 이미지를 해석할 수는 있지만, 이러한 움직임을 선택하려면 보이지 않는 시점의 유용성을 예측해야 합니다. 본 연구에서는 이 유용성을 특정 시점이 질문에 답하기에 충분하다는 VLM의 추정치인 '답변 가능성(answerability)'으로 정량화하고, 예측된 미래 답변 가능성을 바탕으로 후보 카메라 움직임의 순위를 매기는 시점 선택 정책인 렌더링 없는 예측 탐색(Rendering-Free Lookahead, RFL)을 제시합니다. RFL은 시각적 예측 탐색 과정을 실제 배포 단계에서 오프라인 학습(training) 단계로 이전합니다. 학습 시 특권적 교사(privileged teacher)는 3D 가우시안 스플래팅(3DGS) 장면에서 후보 미래 시점들을 렌더링하고, 동결된 VLM을 사용하여 1단계 및 2단계 답변 가능성 목표치를 계산합니다. 2단계 지식 증류를 통해 학생 모델은 질문, 최근 시각적 관측값, 후보 카메라 움직임으로부터 이러한 행동 가치를 예측하는 법을 학습합니다. 실제 배포 환경에서 RFL은 미래 시점을 렌더링하지 않고 이 예측된 가치들을 사용하여 카메라 움직임을 선택합니다. 보지 못한 환경의 377개 E3VS-Bench 테스트 에피소드에서 RFL은 동일한 VLM을 사용하는 직접 행동 기준선(baseline) 대비 평균 판정 점수를 43% 향상시켰습니다. 이러한 결과는 시점 의존적 질문 답변을 위해 특권적 시각 예측 탐색으로부터 카메라 제어 정책을 학습하는 방식을 뒷받침합니다.
조작(manipulation) 과정에서 정책이 스스로 시선을 제어하는 능동 비전(active vision)은 모방 학습(imitation learning)의 핵심 역량으로 부상했으며, 지난 1년 동안 여러 독립적인 시스템을 통해 그 이점이 입증되었습니다. 그러나 여러 접근법을 비교하거나, 능동 비전이 어떤 작업 유형과 조건에서 무엇을 기여하는지 정량화할 수 있는 공유 벤치마크는 부재한 상황입니다. 본 논문에서는 IsaacLab을 기반으로 구축되었으며 두 가지 휴머노이드 상체 임바디먼트(GR1T2, Reachy2)를 지원하고 상호 보완적인 두 가지 작업 스위트인 TAVIS-Head(팬/틸트 목 관절을 통한 전역 탐색, 5개 작업) 및 TAVIS-Hands(손목 카메라를 통한 국소 차폐, 3개 작업)를 포함하는 능동 비전 모방 학습 평가 인프라 TAVIS를 소개합니다. TAVIS는 세 가지 평가 프리미티브를 제공합니다: 동일한 시연(demonstration) 데이터를 사용하는 쌍체 헤드 카메라 대 고정 카메라(headcam-vs-fixedcam) 프로토콜, 학습된 정책의 예측 시선(anticipatory gaze)을 정량화하며 인지 과학 및 HRI에 기반을 둔 새로운 지표인 GALT(Gaze-Action Lead Time), 그리고 절차적 ID/OOD 분할입니다. Diffusion Policy 및 $π_0$를 사용한 기준선(baseline) 실험을 통해 (i) 능동 비전은 여러 학습(training) 실행에 걸쳐 전반적으로 일관되게 도움이 되지만 그 혜택은 균일하기보다 작업 조건에 따라 달라진다는 점, (ii) 두 작업 스위트 모두에서 통제된 분포 변화(distribution shift) 하에 멀티태스크 정책 성능이 급격히 저하된다는 점, (iii) 모방만으로도 인간 시연과 유사한 리드 타임으로 작업 관련 객체에 도달하는 예측 시선이 형성되지만, 성공률 지표로는 드러나지 않는 액션 청킹(action chunking)의 영향으로 인해 머리 움직임이 시연 데이터보다 덜 매끄럽다는 점을 밝혔습니다. 코드와 평가 스크립트는 https://github.com/spiglerg/tavis 에 공개되어 있으며, 시연 데이터(LeRobot v3.0, 약 2,200개 에피소드) 및 학습된 기준선 모델은 https://huggingface.co/tavis-benchmark 에서 제공됩니다.
이벤트 카메라와 고속 갈바노미터 미러, 초점 조절 가능 망원 렌즈를 결합한 능동 시각 시스템(GCS)을 제안하여 경기 중 무수정 공의 스핀을 실시간으로 추적·추정한다. 구면 대비 최대화(s-CMax) 오프라인 방법과 불확실성 인식 CNN 기반 온라인 방법을 통해 프로 탁구 경기에서 750Hz 처리량, 3ms 지연으로 높은 정확도의 스핀 추정을 달성한다.