Actuator Trajectory Planning for UAVs with Overhead Manipulator using Reinforcement Learning
원문 초록
In this paper, we investigate the operation of an aerial manipulator system, namely an Unmanned Aerial Vehicle (UAV) equipped with a controllable arm with two degrees of freedom to carry out actuation tasks on the fly. Our solution is based on employing a Q-learning method to control the trajectory of the tip of the arm, also called end-effector. More specifically, we develop a motion planning model based on Time To Collision (TTC), which enables a quadrotor UAV to navigate around obstacles while ensuring the manipulator's reachability. Additionally, we utilize a model-based Q-learning model to independently track and control the desired trajectory of the manipulator's end-effector, given an arbitrary baseline trajectory for the UAV platform. Such a combination enables a variety of actuation tasks such as high-altitude welding, structural monitoring and repair, battery replacement, gutter cleaning, skyscrapper cleaning, and power line maintenance in hard-to-reach and risky environments while retaining compatibility with flight control firmware. Our RL-based control mechanism results in a robust control strategy that can handle uncertainties in the motion of the UAV, offering promising performance. Specifically, our method achieves 92% accuracy in terms of average displacement error (i.e. the mean distance between the target and obtained trajectory points) using Q-learning with 15,000 episodes
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기
Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계
Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems
강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.
로봇 내비게이션을 위한 최소 장애물 변위 계획의 호리즌 슬라이싱 접근법
A Horizon-slicing Approach to Minimum Obstacle Displacement Planning for Robot Navigation
본 논문에서는 로봇 동작 계획(motion planning) 관점에서 최소 장애물 변위 계획(Minimum Obstacle Displacement Planning) 문제를 다룬다. 이 문제는 처음에 충돌 없는 경로가 없을 때 이동 가능한 장애물을 변위시켜 목표 지점까지의 실행 가능한 경로를 찾는 것을 포함한다. 우리는 이 문제가 계산적으로 어렵고, 특히 장애물을 평면상의 다각형으로 모델링할 때 NP-hard임을 보인다. 문헌의 다른 문제들을 일반화하는 최소 장애물 변위 문제의 정확한 공식화와 이에 대응하는 최적해 외에, 본 논문은 계산 부담이 더 적은 근사해를 제안하며, 이는 최적해와 최적 비용의 일부만큼만 차이 나며, 경로 길이와 장애물 변위량 사이의 트레이드오프를 조절할 수 있다.
명시적 3D 재구성 없이 이미지로부터 직접 수행하는 6-자유도(6-DoF) 궤적 계획을 위한 SE(3) 신경 포텐셜 필드
SE(3) Neural Potential Fields for 6-DoF Trajectory Planning Directly from Images Without Explicit 3D Reconstruction
어수선한 환경(clutter)에서 6-자유도(6-DoF) 파지 자세(grasp pose)에 도달하려면 충돌이 없는 궤적이 필요하며, 기존에는 장면을 3D로 재구성하고 그 재구성 안에서 계획을 수립하는 방식으로 이를 얻었으나, 이는 정확도와 연산 비용을 대가로 치른다. 이미지로부터 직접 학습된 포텐셜 필드(potential field)는 이러한 의존성을 제거하지만, 인공 포텐셜 필드(artificial potential field)의 고전적인 약점을 그대로 물려받는다: 인력(attractive)과 척력(repulsive) 기울기(gradient)가 상쇄되는 지점에서 하강 경로가 장애물을 우회하지 못하고 스치듯 지나가며, 목표에 도달하지 못하고 정체될 수 있다. 우리는 자세가 주어진(posed) RGB 이미지로부터 학습되고, 학습 중 동일한 이미지로부터 복원한 자유 공간(free space)을 통과하는 파지점까지의 측지 거리(geodesic distance)인 내비게이션 함수(navigation function)로 지도(supervise)되는 SE(3) 신경 포텐셜 필드를 제시하며, 이는 두 가지 실패 모두를 제거한다. 두 개의 테이블탑 장면에서, UR10 로봇으로 실행한 장애물로 막힌 시작 지점들로부터, 이 필드는 모든 시작 지점에서 파지점 3cm 이내로 수렴하며 실행되는 모든 경로가 실제 정답(ground-truth) 기하 구조에 대해 충돌이 없는 반면, 이미지 지도만 사용한 경우는 각각 25%와 0%에 그친다. 평균 여유 거리(clearance)는 1cm 미만에서 8.6-8.8cm로 상승하고, 로봇팔 링크 접촉은 실행된 구성(configuration)의 20.6-50.4%에서 2.7-5.5%로 감소한다. 실제 실행된 파지 성공률은 두 장면에서 각각 90.0%와 40.0%이며, 남은 실패는 필드가 아니라 데카르트 실행기(Cartesian executor)의 거부에 기인한다. 계획 수립에는 약 2초가 소요되는데, 동일한 이미지의 재구성에 대한 RRT*의 67-133초와 비교된다. 다만 공통의 오프라인 실험 환경(harness)에서는 두 방법이 비슷한 수준이며, 실제 배포 시 발생하는 마진(margin)은 계획기(planner)의 복잡도가 아니라 밀집 재구성(dense reconstruction)에 대한 충돌 검사 비용에서 비롯된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.