arXiv:2112.07313

Autonomous Navigation and Configuration of Integrated Access Backhauling for UAV Base Station Using Reinforcement Learning

Hongyi Zhang, Jingya Li, Zhiqiang Qi, Xingqin Lin, Anders Aronsson, Jan Bosch, Helena Holmström Olsson

제출 2021-12-14

원문 초록

Fast and reliable connectivity is essential to enhancing situational awareness and operational efficiency for public safety mission-critical (MC) users. In emergency or disaster circumstances, where existing cellular network coverage and capacity may not be available to meet MC communication demands, deployable-network-based solutions such as cells-on-wheels/wings can be utilized swiftly to ensure reliable connection for MC users. In this paper, we consider a scenario where a macro base station (BS) is destroyed due to a natural disaster and an unmanned aerial vehicle carrying BS (UAV-BS) is set up to provide temporary coverage for users in the disaster area. The UAV-BS is integrated into the mobile network using the 5G integrated access and backhaul (IAB) technology. We propose a framework and signalling procedure for applying machine learning to this use case. A deep reinforcement learning algorithm is designed to jointly optimize the access and backhaul antenna tilt as well as the three-dimensional location of the UAV-BS in order to best serve the on-ground MC users while maintaining a good backhaul connection. Our result shows that the proposed algorithm can autonomously navigate and configure the UAV-BS to improve the throughput and reduce the drop rate of MC users.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23643v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning

토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어

Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings

제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.

arXiv:2607.20834v1cs.LG공통 태그 Navigate, Deep Reinforcement Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.13553v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning

비정상 유동에서 강화학습 기반 유동 인식 최적 항법

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.

arXiv:2607.13653v1cs.CV공통 태그 Navigate, Deep Reinforcement Learning

탐험적, 소통형, 그리고 배포 가능한: 오픈 월드 모바일 매니퓰레이션을 위한 비전 주도 체화 에이전트

Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.

arXiv:2607.12640v1cs.AI공통 태그 Navigate, Deep Reinforcement Learning

소규모 언어·비전-언어 모델 웹 에이전트에서 GRPO의 학습률 게이팅 실패: 통제된 null과 그 메커니즘

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

검증 가능한 보상을 사용한 강화학습, 특히 Group Relative Policy Optimization(GRPO)은 이제 더 강력한 에이전트를 만들기 위해 지도학습 체크포인트 위에서 일상적으로 수행된다. 우리는 이것이 4B~8B 규모의 소규모 언어 및 비전-언어 모델 웹 에이전트에 기술을 더하는지, 아니면 지도학습 모델이 이미 갖춘 행동을 대부분 재형성하는지 묻는다. 학습률, KL 가중치, 시드, 초기화, 클리핑을 바꾼 18회 실행의 통제 격자에서, 어떤 설정도 에이전트가 대부분 숙달한 작업에서 강력한 지도학습 기준선의 성공률을 신뢰할 수 있게 개선하지 못했다. 텍스트 트랙에서는 중간에서 높은 학습률이 이를 신뢰할 수 있게 악화시킨다. null은 쌍체 검정, 25개 평가 시드, 6개 학습 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관측 모두, 그리고 백본을 8B로 스케일링하는 경우에도 성립한다. 신뢰할 수 있는 해로는 텍스트 트랙의 발견이며 Set-of-Marks에서는 명목상에 불과하다. null이 설정을 반영하는 것이지 고장 난 파이프라인을 반영하는 것이 아님을 보이기 위해, 샘플링으로 보상에 도달 가능한 작업에 동일한 하네스, 보상, 레시피를 실행했고, 거기서는 성공률이 22포인트 상승하며 0을 제외하는 쌍체 구간을 보였다. 따라서 GRPO는 오를 여지가 있을 때만 도움이 되며, 이는 샘플링 정책이 이미 탐욕(greedy) 정책보다 더 자주 성공한다는 뜻이다. 그다음 실패를 설명한다. 중간 학습률은 에이전트를 저하시키고 높은 학습률은 에이전트를 붕괴시키며, 두 체제는 이중 분리(double dissociation)를 이룬다. 그래프팅(grafting)은 저하 체제를 어텐션 및 MLP 블록으로 국소화하는 반면, 붕괴 체제는 어떤 단일 그룹에도 추적할 수 없고, 가중치 이동을 지배하는 임베딩 변화는 인과적으로 무효(causally inert)하다. 4B에서는 후반 레이어의 유효 rank(effective rank)가 양방향으로 성능을 추적한다. 8B에서는 둘이 분리된다. 이 결합은 더 작은 모델에 특정되므로, 우리는 이를 규모 의존적(scale-dependent)으로 보고한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.