EnCoMP: Enhanced Covert Maneuver Planning with Adaptive Threat-Aware Visibility Estimation using Offline Reinforcement Learning
원문 초록
Autonomous robots operating in complex environments face the critical challenge of identifying and utilizing environmental cover for covert navigation to minimize exposure to potential threats. We propose EnCoMP, an enhanced navigation framework that integrates offline reinforcement learning and our novel Adaptive Threat-Aware Visibility Estimation (ATAVE) algorithm to enable robots to navigate covertly and efficiently in diverse outdoor settings. ATAVE is a dynamic probabilistic threat modeling technique that we designed to continuously assess and mitigate potential threats in real-time, enhancing the robot's ability to navigate covertly by adapting to evolving environmental and threat conditions. Moreover, our approach generates high-fidelity multi-map representations, including cover maps, potential threat maps, height maps, and goal maps from LiDAR point clouds, providing a comprehensive understanding of the environment. These multi-maps offer detailed environmental insights, helping in strategic navigation decisions. The goal map encodes the relative distance and direction to the target location, guiding the robot's navigation. We train a Conservative Q-Learning (CQL) model on a large-scale dataset collected from real-world environments, learning a robust policy that maximizes cover utilization, minimizes threat exposure, and maintains efficient navigation. We demonstrate our method's capabilities on a physical Jackal robot, showing extensive experiments across diverse terrains. These experiments demonstrate EnCoMP's superior performance compared to state-of-the-art methods, achieving a 95% success rate, 85% cover utilization, and reducing threat exposure to 10.5%, while significantly outperforming baselines in navigation efficiency and robustness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기
Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계
Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems
강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.
Robostral Navigate
Robostral Navigate
내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.
소규모 언어·비전-언어 모델 웹 에이전트에서 GRPO의 학습률 게이팅 실패: 통제된 null과 그 메커니즘
A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism
검증 가능한 보상을 사용한 강화학습, 특히 Group Relative Policy Optimization(GRPO)은 이제 더 강력한 에이전트를 만들기 위해 지도학습 체크포인트 위에서 일상적으로 수행된다. 우리는 이것이 4B~8B 규모의 소규모 언어 및 비전-언어 모델 웹 에이전트에 기술을 더하는지, 아니면 지도학습 모델이 이미 갖춘 행동을 대부분 재형성하는지 묻는다. 학습률, KL 가중치, 시드, 초기화, 클리핑을 바꾼 18회 실행의 통제 격자에서, 어떤 설정도 에이전트가 대부분 숙달한 작업에서 강력한 지도학습 기준선의 성공률을 신뢰할 수 있게 개선하지 못했다. 텍스트 트랙에서는 중간에서 높은 학습률이 이를 신뢰할 수 있게 악화시킨다. null은 쌍체 검정, 25개 평가 시드, 6개 학습 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관측 모두, 그리고 백본을 8B로 스케일링하는 경우에도 성립한다. 신뢰할 수 있는 해로는 텍스트 트랙의 발견이며 Set-of-Marks에서는 명목상에 불과하다. null이 설정을 반영하는 것이지 고장 난 파이프라인을 반영하는 것이 아님을 보이기 위해, 샘플링으로 보상에 도달 가능한 작업에 동일한 하네스, 보상, 레시피를 실행했고, 거기서는 성공률이 22포인트 상승하며 0을 제외하는 쌍체 구간을 보였다. 따라서 GRPO는 오를 여지가 있을 때만 도움이 되며, 이는 샘플링 정책이 이미 탐욕(greedy) 정책보다 더 자주 성공한다는 뜻이다. 그다음 실패를 설명한다. 중간 학습률은 에이전트를 저하시키고 높은 학습률은 에이전트를 붕괴시키며, 두 체제는 이중 분리(double dissociation)를 이룬다. 그래프팅(grafting)은 저하 체제를 어텐션 및 MLP 블록으로 국소화하는 반면, 붕괴 체제는 어떤 단일 그룹에도 추적할 수 없고, 가중치 이동을 지배하는 임베딩 변화는 인과적으로 무효(causally inert)하다. 4B에서는 후반 레이어의 유효 rank(effective rank)가 양방향으로 성능을 추적한다. 8B에서는 둘이 분리된다. 이 결합은 더 작은 모델에 특정되므로, 우리는 이를 규모 의존적(scale-dependent)으로 보고한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.