Do as I Do: 일상적인 인간 비디오에서의 교묘한 조작 데이터
Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
우리는 로봇 조작(robotic manipulation), 특히 교묘한 다중 손가락 손(dexterous multi-fingered hands)과 같은 인간과 유사한 플랫폼을 위한 데이터를 어떻게 확장 가능하게 생성할 수 있을까요? 인간 비디오로부터의 학습(learning from human videos)이 최근 이 질문에 대한 유력한 해답으로 떠오르고 있습니다. 그러나 손-물체 상호작용(hand-object interaction) 추정의 어려움과 인간-로봇 구현 격차(human-to-robot embodiment gap)를 해소하는 문제로 인해, 풍부한 단안 RGB(monocular RGB) 전용 인간 비디오가 로봇 조작 데이터의 주요 원천으로 채택되는 데 제약이 있었습니다. 본 연구에서는 단안 RGB 인간 비디오를 다중 손가락 교묘한 로봇 손으로 재구성하고 리타겟팅(retargeting)하는 알고리즘인 DO AS I DO를 제시합니다. DO AS I DO는 다양한 1인칭(egocentric) 및 3인칭(exocentric) 자연 환경(in-the-wild) 비디오 소스에서 손-물체 상호작용을 재구성합니다. 이 알고리즘은 이러한 손-물체 상호작용 추정 결과를 실제 환경에서 실행 가능한 행동(action) 시퀀스로 리타겟팅하여, 서로 다른 인간 비디오로부터 로봇 실행이 가능한 완전한 조작 데이터를 생성합니다. 전반적으로, DO AS I DO는 정답(ground truth)이 포함된 데이터셋과 온라인에서 수집된 비디오 클립 데이터셋에 대한 실험을 통해, 손-물체 상호작용 추정 및 RGB 비디오에서 교묘한 조작 궤적 추출 측면에서 기존 최첨단(SOTA) 방법론보다 우수한 성능을 보임을 입증했습니다. 본 연구의 실험 결과를 바탕으로, 우리는 조작 작업을 위한 인간 데이터를 수집하는 실무자들을 위한 효과적인 지침서(efficacy playbook)를 제안합니다.