PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06627v1cs.RO

일상적인 인간 영상으로 로봇 조작 정책을 공동 학습할 때 무엇이 중요한가?

What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?

로봇 조작 정책의 공동 학습(cotraining)에 사용되는 인간 영상 데이터셋은 대부분, 동작이 로봇 행동을 닮도록 연출된 큐레이션 시연과 전용 하드웨어로 포착한 3D 손 포즈로 구성된다. 더 풍부한 데이터 원천은 일상적인 인터넷 영상이지만, 이러한 영상에서 로봇으로의 전이(transfer)를 가능하게 하는 요인이 무엇인지는 아직 밝혀지지 않은 문제이다. 532개의 인간 영상, 28시간 분량의 고품질 삼각측량(triangulated) 손 라벨, 자연스러운 동작을 포함한 새로운 데이터셋을 이용해 이를 조사했다. 손 포즈 품질이 전이에 영향을 미치지만, 정확한 손 포즈가 있더라도 고유한 동작 격차(motion gap)가 전이를 저해하며, 비전 및 정책 네트워크가 각 embodiment에 특화(specialize)되지 않는 한 그렇다. 공동 학습 방법은 여섯 가지 조작 과제에서 로봇 데이터가 적은 구간에서 절대 성공률 $29.7\%$ 향상을 포함해 일관된 개선을 보였다.