arXiv:2306.17598

Navigation of micro-robot swarms for targeted delivery using reinforcement learning

Akshatha Jagadish, Manoj Varma

제출 2023-06-30

원문 초록

Micro robotics is quickly emerging to be a promising technological solution to many medical treatments with focus on targeted drug delivery. They are effective when working in swarms whose individual control is mostly infeasible owing to their minute size. Controlling a number of robots with a single controller is thus important and artificial intelligence can help us perform this task successfully. In this work, we use the Reinforcement Learning (RL) algorithms Proximal Policy Optimization (PPO) and Robust Policy Optimization (RPO) to navigate a swarm of 4, 9 and 16 microswimmers under hydrodynamic effects, controlled by their orientation, towards a circular absorbing target. We look at both PPO and RPO performances with limited state information scenarios and also test their robustness for random target location and size. We use curriculum learning to improve upon the performance and demonstrate the same in learning to navigate a swarm of 25 swimmers and steering the swarm to exemplify the manoeuvring capabilities of the RL model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15956v1cs.AI공통 태그 Reinforcement Learning (RL), Navigate

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Navigate

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.20785v1cs.RO공통 태그 reinforcement-learning, Navigate

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

arXiv:2607.12640v1cs.AI공통 태그 reinforcement-learning, Navigate

소규모 언어·비전-언어 모델 웹 에이전트에서 GRPO의 학습률 게이팅 실패: 통제된 null과 그 메커니즘

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

검증 가능한 보상을 사용한 강화학습, 특히 Group Relative Policy Optimization(GRPO)은 이제 더 강력한 에이전트를 만들기 위해 지도학습 체크포인트 위에서 일상적으로 수행된다. 우리는 이것이 4B~8B 규모의 소규모 언어 및 비전-언어 모델 웹 에이전트에 기술을 더하는지, 아니면 지도학습 모델이 이미 갖춘 행동을 대부분 재형성하는지 묻는다. 학습률, KL 가중치, 시드, 초기화, 클리핑을 바꾼 18회 실행의 통제 격자에서, 어떤 설정도 에이전트가 대부분 숙달한 작업에서 강력한 지도학습 기준선의 성공률을 신뢰할 수 있게 개선하지 못했다. 텍스트 트랙에서는 중간에서 높은 학습률이 이를 신뢰할 수 있게 악화시킨다. null은 쌍체 검정, 25개 평가 시드, 6개 학습 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관측 모두, 그리고 백본을 8B로 스케일링하는 경우에도 성립한다. 신뢰할 수 있는 해로는 텍스트 트랙의 발견이며 Set-of-Marks에서는 명목상에 불과하다. null이 설정을 반영하는 것이지 고장 난 파이프라인을 반영하는 것이 아님을 보이기 위해, 샘플링으로 보상에 도달 가능한 작업에 동일한 하네스, 보상, 레시피를 실행했고, 거기서는 성공률이 22포인트 상승하며 0을 제외하는 쌍체 구간을 보였다. 따라서 GRPO는 오를 여지가 있을 때만 도움이 되며, 이는 샘플링 정책이 이미 탐욕(greedy) 정책보다 더 자주 성공한다는 뜻이다. 그다음 실패를 설명한다. 중간 학습률은 에이전트를 저하시키고 높은 학습률은 에이전트를 붕괴시키며, 두 체제는 이중 분리(double dissociation)를 이룬다. 그래프팅(grafting)은 저하 체제를 어텐션 및 MLP 블록으로 국소화하는 반면, 붕괴 체제는 어떤 단일 그룹에도 추적할 수 없고, 가중치 이동을 지배하는 임베딩 변화는 인과적으로 무효(causally inert)하다. 4B에서는 후반 레이어의 유효 rank(effective rank)가 양방향으로 성능을 추적한다. 8B에서는 둘이 분리된다. 이 결합은 더 작은 모델에 특정되므로, 우리는 이를 규모 의존적(scale-dependent)으로 보고한다.

arXiv:2606.27581v1cs.RO공통 태그 reinforcement-learning, Navigate

SceneBot: 접촉 프롬프트 기반 장면 상호작용 일반 휴머노이드 전신 추적

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

현재 휴머노이드 강화학습(RL) 정책은 자유 공간(free-space) 동작에는 뛰어나지만, 접촉이 많은(contact-rich) 과제에서는 어려움을 겪는다. 순수 운동학(kinematic) 추적만으로는 물체 및 고르지 않은 지형과의 상호작용에서 발생하는 물리적 모호성을 해결할 수 없기 때문이다. 이를 해결하기 위해, 자유 공간 보행, 지형 통과, 전신 조작을 처리할 수 있는 통합 동작 추적 프레임워크인 SceneBot을 제안한다. SceneBot은 단일 정책에 참조 동작과 링크별 접촉 레이블을 모두 조건으로 주어 기대되는 환경 상호작용을 명시적으로 정의한다. 주석이 달린 상호작용 데이터 부족을 극복하기 위해, 재타겟팅된 인간 동작으로부터 장면-상호작용 그래프를 추론하는 사후(hindsight) 장면 재구성 접근법을 제안한다. 이렇게 재구성된 접촉이 풍부한 데이터 7.5시간으로 학습한 SceneBot은 미경험 동작과 환경에 성공적으로 일반화한다. 결과는 SceneBot이 계단을 오르며 상자를 운반하는 것과 같은 복잡하고 장기적인(long-horizon) 과제를 수행하며 자유 공간 및 접촉이 풍부한 행동을 매끄럽게 통합하는 최초의 일반 프레임워크임을 보여주며, 접촉 조건화(contact conditioning)를 휴머노이드 제어를 위한 강력한 인터페이스로 확립한다. 모든 코드와 데이터는 오픈소스로 공개될 예정이다. 더 많은 데모와 정보는 https://ericcsr.github.io/scenebot/ 에서 확인할 수 있다.

arXiv:2606.22509v1cs.AI공통 태그 reinforcement-learning, Navigate

계층적 강화학습에서 안전성 확보를 위한 상상

Imagine to Ensure Safety in Hierarchical Reinforcement Learning

본 연구는 강화학습에서 에이전트가 누적 성능을 최대화하는 동시에 안전 제약을 만족해야 하는 안전 탐험 문제를 조사한다. 이 과제는 장기(horizon) 작업에서 더욱 두드러지며, 기존 안전 방법들은 누적 추정 오류와 제한적인 탐험 능력으로 인해 근본적인 한계에 직면한다. 이 문제를 해결하기 위해, 본 논문은 학습 가능한 세계 모델(world model)과 두 개의 상호 보완적 정책—고수준 정책과 저수준 정책—을 결합하여 계층적 수준 모두에서 안전성을 높이는 방법을 제안한다. 고수준 정책은 탐험을 안전한 영역으로 바이어스하기 위한 중간 부분 목표(subgoal)를 생성하고, 저수준 정책은 학습된 세계 모델에서 상상된 롤아웃(imagined rollout)을 사용하여 이러한 부분 목표에 도달할 때 불안전한 행동을 줄인다. 제안 방법은 고차원 행동 공간을 가진 도전적인 장기 내비게이션 및 조작 작업에서 평가되었으며, 성공률과 강한 경험적 제약 만족 모두에서 기존 안전 강화학습(Safe RL) 베이스라인을 크게 뛰어넘었다. 시드 전반에서 지정된 안전 예산을 일관되게 충족한 반면, 기존 접근법은 이러한 복잡한 장기 시나리오를 효과적으로 해결하지 못했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.