arXiv:2211.04993

RL-DWA Omnidirectional Motion Planning for Person Following in Domestic Assistance and Monitoring

Andrea Eirale, Mauro Martini, Marcello Chiaberge

제출 2022-11-09

원문 초록

Robot assistants are emerging as high-tech solutions to support people in everyday life. Following and assisting the user in the domestic environment requires flexible mobility to safely move in cluttered spaces. We introduce a new approach to person following for assistance and monitoring. Our methodology exploits an omnidirectional robotic platform to detach the computation of linear and angular velocities and navigate within the domestic environment without losing track of the assisted person. While linear velocities are managed by a conventional Dynamic Window Approach (DWA) local planner, we trained a Deep Reinforcement Learning (DRL) agent to predict optimized angular velocities commands and maintain the orientation of the robot towards the user. We evaluate our navigation system on a real omnidirectional platform in various indoor scenarios, demonstrating the competitive advantage of our solution compared to a standard differential steering following.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22974v1cs.RO공통 태그 Navigate, Motion Planning

로봇 내비게이션을 위한 최소 장애물 변위 계획의 호리즌 슬라이싱 접근법

A Horizon-slicing Approach to Minimum Obstacle Displacement Planning for Robot Navigation

본 논문에서는 로봇 동작 계획(motion planning) 관점에서 최소 장애물 변위 계획(Minimum Obstacle Displacement Planning) 문제를 다룬다. 이 문제는 처음에 충돌 없는 경로가 없을 때 이동 가능한 장애물을 변위시켜 목표 지점까지의 실행 가능한 경로를 찾는 것을 포함한다. 우리는 이 문제가 계산적으로 어렵고, 특히 장애물을 평면상의 다각형으로 모델링할 때 NP-hard임을 보인다. 문헌의 다른 문제들을 일반화하는 최소 장애물 변위 문제의 정확한 공식화와 이에 대응하는 최적해 외에, 본 논문은 계산 부담이 더 적은 근사해를 제안하며, 이는 최적해와 최적 비용의 일부만큼만 차이 나며, 경로 길이와 장애물 변위량 사이의 트레이드오프를 조절할 수 있다.

arXiv:2609.23643v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning

토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어

Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings

제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.

arXiv:2609.24864v1cs.RO공통 태그 Navigate, Motion Planning

명시적 3D 재구성 없이 이미지로부터 직접 수행하는 6-자유도(6-DoF) 궤적 계획을 위한 SE(3) 신경 포텐셜 필드

SE(3) Neural Potential Fields for 6-DoF Trajectory Planning Directly from Images Without Explicit 3D Reconstruction

어수선한 환경(clutter)에서 6-자유도(6-DoF) 파지 자세(grasp pose)에 도달하려면 충돌이 없는 궤적이 필요하며, 기존에는 장면을 3D로 재구성하고 그 재구성 안에서 계획을 수립하는 방식으로 이를 얻었으나, 이는 정확도와 연산 비용을 대가로 치른다. 이미지로부터 직접 학습된 포텐셜 필드(potential field)는 이러한 의존성을 제거하지만, 인공 포텐셜 필드(artificial potential field)의 고전적인 약점을 그대로 물려받는다: 인력(attractive)과 척력(repulsive) 기울기(gradient)가 상쇄되는 지점에서 하강 경로가 장애물을 우회하지 못하고 스치듯 지나가며, 목표에 도달하지 못하고 정체될 수 있다. 우리는 자세가 주어진(posed) RGB 이미지로부터 학습되고, 학습 중 동일한 이미지로부터 복원한 자유 공간(free space)을 통과하는 파지점까지의 측지 거리(geodesic distance)인 내비게이션 함수(navigation function)로 지도(supervise)되는 SE(3) 신경 포텐셜 필드를 제시하며, 이는 두 가지 실패 모두를 제거한다. 두 개의 테이블탑 장면에서, UR10 로봇으로 실행한 장애물로 막힌 시작 지점들로부터, 이 필드는 모든 시작 지점에서 파지점 3cm 이내로 수렴하며 실행되는 모든 경로가 실제 정답(ground-truth) 기하 구조에 대해 충돌이 없는 반면, 이미지 지도만 사용한 경우는 각각 25%와 0%에 그친다. 평균 여유 거리(clearance)는 1cm 미만에서 8.6-8.8cm로 상승하고, 로봇팔 링크 접촉은 실행된 구성(configuration)의 20.6-50.4%에서 2.7-5.5%로 감소한다. 실제 실행된 파지 성공률은 두 장면에서 각각 90.0%와 40.0%이며, 남은 실패는 필드가 아니라 데카르트 실행기(Cartesian executor)의 거부에 기인한다. 계획 수립에는 약 2초가 소요되는데, 동일한 이미지의 재구성에 대한 RRT*의 67-133초와 비교된다. 다만 공통의 오프라인 실험 환경(harness)에서는 두 방법이 비슷한 수준이며, 실제 배포 시 발생하는 마진(margin)은 계획기(planner)의 복잡도가 아니라 밀집 재구성(dense reconstruction)에 대한 충돌 검사 비용에서 비롯된다.

arXiv:2607.20834v1cs.LG공통 태그 Navigate, Deep Reinforcement Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.14544v1cs.CV공통 태그 Deep Reinforcement Learning, Motion Planning

딥 강화학습 기반 3D 기하학적 치열 정렬 계획

3D Geometric Tooth Alignment Planning via Deep Reinforcement Learning

3D 기하학적 치열 정렬 계획은 초기 부정교합에서 최종 목표 정렬까지의 순차적 궤적을 결정하는 것으로, 현대 디지털 치아교정의 핵심이다. 본 논문은 이러한 정렬 경로 생성을 자동화하기 위한 새로운 딥 강화학습(DRL) 프레임워크를 제안한다. 계획 과정을 마르코프 결정 과정(MDP)으로 공식화하여 순차적 의사결정 특성을 포착하고, 치아 간 충돌 회피 및 경로 효율성과 같은 필수적인 공간 제약을 통합하면서 기하학적 궤적 최적화에 집중한다. 제안 방법은 Deep Deterministic Policy Gradient(DDPG) 알고리즘을 활용하며, 세 가지 핵심 혁신으로 강화된다: (1) 치아 간 복잡한 공간 상호작용을 모델링하고 고차원 상태-행동 공간을 관리하는 트랜스포머 기반 에이전트, (2) 각 단계마다 이동을 치아의 희소 부분집합으로 제한하여 순차적 정렬의 임상적 논리를 더 잘 반영하는 동적 마스킹 방식, (3) 학습 안정성과 효율적인 경로 탐색을 보장하기 위해 과제 난이도를 점진적으로 높이는 2단계 커리큘럼 학습 전략. 임상 데이터 기반의 전문가 설계 치료 계획 1만 건 데이터셋에서 접근법을 평가하였다. 실험 결과는 제안 방법이 경로 안전성과 기하학적 효율성 측면에서 기존 기준선을 능가하며, 3D 기하학적 치아교정 정렬 계획을 위한 견고하고 자동화된 해결책을 제공함을 보여준다.

arXiv:2607.13553v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning

비정상 유동에서 강화학습 기반 유동 인식 최적 항법

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.