arXiv:2309.11907

Learning to Recover for Safe Reinforcement Learning

Haoyu Wang, Xin Yuan, Qinqing Ren

제출 2023-09-21

원문 초록

Safety controllers is widely used to achieve safe reinforcement learning. Most methods that apply a safety controller are using handcrafted safety constraints to construct the safety controller. However, when the environment dynamics are sophisticated, handcrafted safety constraints become unavailable. Therefore, it worth to research on constructing safety controllers by learning algorithms. We propose a three-stage architecture for safe reinforcement learning, namely TU-Recovery Architecture. A safety critic and a recovery policy is learned before task training. They form a safety controller to ensure safety in task training. Then a phenomenon induced by disagreement between task policy and recovery policy, called adversarial phenomenon, which reduces learning efficiency and model performance, is described. Auxiliary reward is proposed to mitigate adversarial phenomenon, while help the task policy to learn to recover from high-risk states. A series of experiments are conducted in a robot navigation environment. Experiments demonstrate that TU-Recovery outperforms unconstrained counterpart in both reward gaining and constraint violations during task training, and auxiliary reward further improve TU-Recovery in reward-to-cost ratio by significantly reduce constraint violations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27312v1cs.RO공통 태그 Reinforcement Learning, Safe Reinforcement Learning

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.

arXiv:2607.21646v1cs.LG공통 태그 Reinforcement Learning, Safe Reinforcement Learning

비정상 강화학습에서 안전성 제약으로서의 조정 속도

Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

비정상성 하에서 강화학습의 안전성을 보장하려면, 학습 시스템이 요구되는 회복 지평(recovery horizon) 내에서 예측된 환경 변화에 안전하게 적응할 수 있는지 판단해야 한다. 기존의 안전 강화학습(safe reinforcement learning) 방법은 일반적으로 정상(stationary) 환경을 가정하며, 적응 속도를 안전성 문제로 명시적으로 고려하지 않는다. 그러나 환경이 시간에 따라 변화할 때, 적응이 지연되면 일시적인 불안전 행동이 발생할 수 있다. 본 논문은 비정상 강화학습을 위한 안전성 제약으로 조정 속도를 제안한다. 핵심 아이디어는 적응 가능성(adaptation feasibility)의 관점에서 안전성을 정의하는 것이다: 안전을 유지하는 데 필요한 적응이 학습 시스템의 보정된 회복 용량(calibrated recovery capacity)을 초과하면, 미래 상태나 영역이 불안전해질 수 있다. 제안된 프레임워크는 학습된 컨텍스트 표현과 단기 지평 컨텍스트 예측을 사용하여 적응 수요를 추정하고, 이를 에이전트의 달성 가능한 적응 용량과 비교한다. 예측된 적응 수요가 보정된 회복 용량을 초과하면, 프레임워크는 위반 발생 전에 불안전 행동을 줄이기 위해 허용 가능한 행동 집합을 선제적으로 축소하고 행동 수준(action-level) 쉴드를 활성화한다. 비정상 운전 환경에서의 실험은 제안된 접근법이 주로 컨텍스트 변화와 정렬된 단기 지평 윈도우에서 안전 위반을 줄임을 보여준다. Ablation 연구는 쉴드가 피크 및 꼬리(tail) 위험 억제에 더 보수적이며, 최적화 수준의 조정이 단기 전환 조건(switch-conditioned) 위반을 추가로 줄임을 더 보여준다. 이 결과는 적응 가능성이 비정상성 하 강화학습을 위한 실용적인 안전 원칙임을 뒷받침하며, 선제적 개입이 환경 변화 기간 동안 안전성을 개선할 수 있음을 보여준다.

arXiv:2607.20785v1cs.RO공통 태그 reinforcement-learning, Robot Navigation

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.