SimToolReal: 제로샷 정밀 도구 조작을 위한 객체 중심 정책
SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation
도구를 조작하는 능력은 로봇이 수행할 수 있는 작업의 범위를 크게 확장합니다. 하지만 도구 조작은 얇은 물체 파지, 손 안에서의 물체 회전, 강한 힘의 상호작용을 요구하므로 정밀한 손동작(dexterity) 중에서도 까다로운 범주에 속합니다. 이러한 동작에 대한 원격 조작 데이터를 수집하는 것은 어렵기 때문에, 시뮬레이션-현실 간(sim-to-real) 강화학습(RL)이 유망한 대안으로 꼽힙니다. 그러나 기존 접근 방식들은 일반적으로 각 작업마다 물체를 모델링하고 보상 함수를 튜닝하는 데 상당한 엔지니어링 노력을 필요로 합니다. 본 연구에서는 도구 조작을 위한 sim-to-real 강화학습 정책 일반화를 향한 진전으로서 SimToolReal을 제안합니다. 단일 물체와 단일 작업에 집중하는 대신, 시뮬레이션 환경에서 절차적 생성 방식으로 매우 다양한 도구 형태의 기초 물체(object primitives)를 생성하고, 각 물체를 무작위 목표 자세로 조작한다는 범용적인 목표 아래 단일 강화학습 정책을 학습시킵니다. 이러한 접근법을 통해 SimToolReal은 특정 물체나 작업에 특화된 별도의 학습 없이도 테스트 시점에 일반적인 정밀 도구 조작을 수행할 수 있습니다. 실험 결과, SimToolReal은 기존의 리타기팅 및 고정 파지 방식 대비 37% 향상된 성능을 보였으며, 특정 목표 물체와 작업에 대해 학습된 전문가 강화학습 정책과 대등한 성능을 달성함을 입증했습니다. 마지막으로 SimToolReal이 다양한 일상 도구 전반에 걸쳐 일반화됨을 보여주며, 24개 작업, 12개 물체 인스턴스, 6개 도구 범주에 걸친 120회의 실제 환경 롤아웃에서 강력한 제로샷(zero-shot) 성능을 달성함을 확인했습니다.