TANGO: 전신 비전-언어-행동 모델을 활용한 복잡한 환경에서의 휴머노이드 내비게이션
TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model
본 연구에서는 휴머노이드 로봇을 이용해 복잡하고 어수선한 실내 환경을 탐색 및 이동(navigation)하는 문제를 다룹니다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방식과 달리, 복잡한 환경에서 휴머노이드가 이동하려면 복잡한 3D 공간을 충돌 없이 통과하기 위해 조율된 팔 배치, 몸통 조절, 보행 조절을 포함하는 연속적이고 기하 구조를 인식하는 전신 적응(whole-body adaptation)이 필요합니다. 이에 본 논문에서는 복잡한 환경에서 언어 조건 기반 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션(Vision-Language Navigation) 프레임워크인 TANGO를 제안합니다. 자연어 지시와 1인칭 시점(egocentric) RGB 관측값이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29-자유도(DoF) 관절 공간 행동을 직접 예측합니다. 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 동작 편집, 강화학습(RL) 기반 트래킹을 통해 충돌 없는 다양한 이동 동작을 합성함으로써 TANGO를 전적으로 시뮬레이션 환경에서 학습(training)합니다. 이러한 파이프라인은 언어 조건부 전신 정책 학습을 위한 동역학적으로 실현 가능한 행동 감독(supervision)을 제공합니다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션 분야에서 최첨단 성능을 입증하는 동시에, 장애물 통과가 필요한 까다로운 장면을 탐색할 때 강력한 모듈식 베이스라인들을 능가했습니다. 마지막으로, Unitree G1 휴머노이드 로봇에 TANGO를 제로샷(zero-shot)으로 배포한 결과, 실제 세계 내비게이션 데이터에 대한 학습 없이도 복잡한 실제 환경에서 견고한 언어 유도 이동이 가능함을 확인했습니다.