Unified Control Framework for Real-Time Interception and Obstacle Avoidance of Fast-Moving Objects with Diffusion Variational Autoencoder
원문 초록
Real-time interception of fast-moving objects by robotic arms in dynamic environments poses a formidable challenge due to the need for rapid reaction times, often within milliseconds, amidst dynamic obstacles. This paper introduces a unified control framework to address the above challenge by simultaneously intercepting dynamic objects and avoiding moving obstacles. Central to our approach is using diffusion-based variational autoencoder for motion planning to perform both object interception and obstacle avoidance. We begin by encoding the high-dimensional temporal information from streaming events into a two-dimensional latent manifold, enabling the discrimination between safe and colliding trajectories, culminating in the construction of an offline densely connected trajectory graph. Subsequently, we employ an extended Kalman filter to achieve precise real-time tracking of the moving object. Leveraging a graph-traversing strategy on the established offline dense graph, we generate encoded robotic motor control commands. Finally, we decode these commands to enable real-time motion of robotic motors, ensuring effective obstacle avoidance and high interception accuracy of fast-moving objects. Experimental validation on both computer simulations and autonomous 7-DoF robotic arms demonstrates the efficacy of our proposed framework. Results indicate the capability of the robotic manipulator to navigate around multiple obstacles of varying sizes and shapes while successfully intercepting fast-moving objects thrown from different angles by hand. Complete video demonstrations of our experiments can be found in https://sites.google.com/view/multirobotskill/home.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
로봇 내비게이션을 위한 최소 장애물 변위 계획의 호리즌 슬라이싱 접근법
A Horizon-slicing Approach to Minimum Obstacle Displacement Planning for Robot Navigation
본 논문에서는 로봇 동작 계획(motion planning) 관점에서 최소 장애물 변위 계획(Minimum Obstacle Displacement Planning) 문제를 다룬다. 이 문제는 처음에 충돌 없는 경로가 없을 때 이동 가능한 장애물을 변위시켜 목표 지점까지의 실행 가능한 경로를 찾는 것을 포함한다. 우리는 이 문제가 계산적으로 어렵고, 특히 장애물을 평면상의 다각형으로 모델링할 때 NP-hard임을 보인다. 문헌의 다른 문제들을 일반화하는 최소 장애물 변위 문제의 정확한 공식화와 이에 대응하는 최적해 외에, 본 논문은 계산 부담이 더 적은 근사해를 제안하며, 이는 최적해와 최적 비용의 일부만큼만 차이 나며, 경로 길이와 장애물 변위량 사이의 트레이드오프를 조절할 수 있다.
명시적 3D 재구성 없이 이미지로부터 직접 수행하는 6-자유도(6-DoF) 궤적 계획을 위한 SE(3) 신경 포텐셜 필드
SE(3) Neural Potential Fields for 6-DoF Trajectory Planning Directly from Images Without Explicit 3D Reconstruction
어수선한 환경(clutter)에서 6-자유도(6-DoF) 파지 자세(grasp pose)에 도달하려면 충돌이 없는 궤적이 필요하며, 기존에는 장면을 3D로 재구성하고 그 재구성 안에서 계획을 수립하는 방식으로 이를 얻었으나, 이는 정확도와 연산 비용을 대가로 치른다. 이미지로부터 직접 학습된 포텐셜 필드(potential field)는 이러한 의존성을 제거하지만, 인공 포텐셜 필드(artificial potential field)의 고전적인 약점을 그대로 물려받는다: 인력(attractive)과 척력(repulsive) 기울기(gradient)가 상쇄되는 지점에서 하강 경로가 장애물을 우회하지 못하고 스치듯 지나가며, 목표에 도달하지 못하고 정체될 수 있다. 우리는 자세가 주어진(posed) RGB 이미지로부터 학습되고, 학습 중 동일한 이미지로부터 복원한 자유 공간(free space)을 통과하는 파지점까지의 측지 거리(geodesic distance)인 내비게이션 함수(navigation function)로 지도(supervise)되는 SE(3) 신경 포텐셜 필드를 제시하며, 이는 두 가지 실패 모두를 제거한다. 두 개의 테이블탑 장면에서, UR10 로봇으로 실행한 장애물로 막힌 시작 지점들로부터, 이 필드는 모든 시작 지점에서 파지점 3cm 이내로 수렴하며 실행되는 모든 경로가 실제 정답(ground-truth) 기하 구조에 대해 충돌이 없는 반면, 이미지 지도만 사용한 경우는 각각 25%와 0%에 그친다. 평균 여유 거리(clearance)는 1cm 미만에서 8.6-8.8cm로 상승하고, 로봇팔 링크 접촉은 실행된 구성(configuration)의 20.6-50.4%에서 2.7-5.5%로 감소한다. 실제 실행된 파지 성공률은 두 장면에서 각각 90.0%와 40.0%이며, 남은 실패는 필드가 아니라 데카르트 실행기(Cartesian executor)의 거부에 기인한다. 계획 수립에는 약 2초가 소요되는데, 동일한 이미지의 재구성에 대한 RRT*의 67-133초와 비교된다. 다만 공통의 오프라인 실험 환경(harness)에서는 두 방법이 비슷한 수준이며, 실제 배포 시 발생하는 마진(margin)은 계획기(planner)의 복잡도가 아니라 밀집 재구성(dense reconstruction)에 대한 충돌 검사 비용에서 비롯된다.
폐루프 로봇 반응형 계획을 위한 실시간 모델 체킹
Real-Time Model Checking for Closed-Loop Robot Reactive Planning
반응형 장애물 회피 방법은 종종 한 단계 앞만(즉, 현재 상태에 기반한 다음 행동만) 추론할 수 있기 때문에 에이전트가 국소 최솟값(local minima)에 갇히게 한다. 본 논문에서는 자율 로봇에서 반응형 다단계 계획과 장애물 회피를 달성하기 위해 모델 체킹을 사용한다. 우리의 소규모 맞춤형 모델 체킹 알고리즘은 생물학적 에이전트에서 발견되는 '핵심(core)' 지식과 어텐션에 기반하여 로봇 코드 내 현장(in situ)에서 계획을 생성한다. 이는 사전 계산된 데이터 없이 저전력 장치에서 실시간으로 달성된다. 우리의 접근법은 자율 에이전트가 선호하는 행동(또는 안정 상태)을 방해하는 국소 환경의 교란에 대응하기 위해 생성되는 임시 제어 시스템들을 연쇄적으로 연결하는 것에 기반한다. 우리는 즉각적 환경의 임시 스냅샷에 의존하고 상태 수를 제한함으로써 상태 공간 폭발(state-space explosion)을 완화한다. 깊이 우선 탐색(depth-first search)과 부정된 LTL(Linear Temporal Logic) 경로 속성에 의해 생성된 반례(counter-examples)를 사용한 다단계 계획은 막다른 골목(cul-de-sac)과 독립형 장애물 시나리오에 적용된다. 실험 결과와 두 가지 기본 속성에 대한 비공식 증명은 국소 장애물 회피를 위한 효율적인 다단계 계획 생성에서 우리 접근법의 효과를 보여준다. 우리는 한 단계 앞만 계획할 수 있는 순수 반응형 에이전트와 비교하여 성능을 크게 개선한다. 우리의 접근법은 자율 주행 차량 맥락에서 안전하고 신뢰할 수 있는 내비게이션 개발을 위한 교육적 사례 연구이다. 또한 임무에 중요한(mission-critical) 이동 로봇의 내비게이션에도 일반적으로 적용될 수 있다고 우리는 믿는다.
Optimal any-angle path planning in static and dynamic environments
이동 장애물이 있는 이동 목표 외판원 문제를 위한 이단계 이중 수준 탐색
Two-Phase Bilevel Search for the Moving-Target Traveling Salesman Problem with Moving Obstacles
이동 목표 외판원 문제(MT-TSP)는 정적 창고에서 출발하여 할당된 시간 창 내에 이동 목표 집합을 방문한 후 창고로 돌아오는 에이전트의 최소 비용 궤적을 찾는 문제입니다. 본 논문에서는 MT-TSP의 일반화된 버전인 이동 장애물이 있는 이동 목표 외판원 문제(MT-TSP-MO)를 연구합니다. 이 문제에서 에이전트 궤적은 이동 장애물을 피해야 합니다. 우리는 기성 솔버를 사용하여 해결할 수 있는 혼합 정수 원뿔 프로그래밍(MICP) 공식과, 문제에 대한 고품질의 실현 가능한 해를 계산하는 빠르고 확장 가능한 이단계 이중 수준 탐색(TPBS) 알고리즘을 제안합니다. 최대 40개의 목표와 40개의 장애물이 있는 다양한 문제 인스턴스에 대해 기존 기준선(baseline) 알고리즘과 비교하여 우리의 접근 방식을 평가했습니다. 결과는 제안된 두 방법 모두 성공률, 해 비용, 계산 시간 측면에서 기준선을 현저히 능가함을 보여줍니다.
Vision-based Perception for Autonomous Vehicles in Obstacle Avoidance Scenarios
토론
이 논문과 연결된 포럼 글이 아직 없습니다.