arXiv:2410.22332

Local Policies Enable Zero-shot Long-horizon Manipulation

Murtaza Dalal, Min Liu, Walter Talbott, Chen Chen, Deepak Pathak, Jian Zhang, Ruslan Salakhutdinov

제출 2024-10-29

원문 초록

Sim2real for robotic manipulation is difficult due to the challenges of simulating complex contacts and generating realistic task distributions. To tackle the latter problem, we introduce ManipGen, which leverages a new class of policies for sim2real transfer: local policies. Locality enables a variety of appealing properties including invariances to absolute robot and object pose, skill ordering, and global scene configuration. We combine these policies with foundation models for vision, language and motion planning and demonstrate SOTA zero-shot performance of our method to Robosuite benchmark tasks in simulation (97%). We transfer our local policies from simulation to reality and observe they can solve unseen long-horizon manipulation tasks with up to 8 stages with significant pose, object and scene configuration variation. ManipGen outperforms SOTA approaches such as SayCan, OpenVLA, LLMTrajGen and VoxPoser across 50 real-world manipulation tasks by 36%, 76%, 62% and 60% respectively. Video results at https://mihdalal.github.io/manipgen/

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2501.10781v2cs.MA공통 태그 Motion Planning공식 코드 · Papers with Code

다중 에이전트 모션 플래닝에서 다중 우선순위 동시 연산

Simultaneous Computation with Multiple Prioritizations in Multi-Agent Motion Planning

대규모 네트워크에서의 다중 에이전트 경로 탐색(MAPF)은 계산적으로 까다로운 문제입니다. MAPF를 위한 접근 방식 중 하나는 우선순위 기반 플래닝(PP)으로, 에이전트들이 우선순위에 따라 순차적으로 계획을 수립합니다. 이는 MAPF에서 계산 효율적인 접근 방식이지만, 해의 품질은 우선순위 지정 방식에 크게 좌우됩니다. 대부분의 우선순위 지정은 일반화가 어려운 휴리스틱에 의존하거나 적절한 우선순위를 찾기 위해 반복 연산을 수행하므로 계산 비용이 발생합니다. 본 연구에서는 에이전트가 여러 우선순위 지정을 동시에 연산하는 방법을 제시합니다. 제안하는 접근 방식은 도메인 특화 지식에 의존하지 않으므로 범용적입니다. 본 연구의 배경은 계산 시간 제약 조건이 있는 후퇴 지평선 기반 다중 에이전트 모션 플래닝(MAMP)입니다. MAMP는 MAPF에 비해 시스템 동역학을 더 상세히 고려합니다. MAMP에 대한 수치 실험을 통해, 제안하는 기법이 계산 시간의 미미한 증가만으로 거의 최적에 가까운 우선순위 지정을 달성하고 최신(SOTA) 방법들보다 우수한 성능을 보임을 입증합니다. 또한 Cyber-Physical Mobility Lab에서 10대의 차량을 이용한 도로망 실험을 통해 실시간 동작 가능성을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.