arXiv:2302.06064

Provably Safe Reinforcement Learning with Step-wise Violation Constraints

제출 2023-02-13

원문 초록

In this paper, we investigate a novel safe reinforcement learning problem with step-wise violation constraints. Our problem differs from existing works in that we consider stricter step-wise violation constraints and do not assume the existence of safe actions, making our formulation more suitable for safety-critical applications which need to ensure safety in all decision steps and may not always possess safe actions, e.g., robot control and autonomous driving. We propose a novel algorithm SUCBVI, which guarantees $\widetilde{O}(\sqrt{ST})$ step-wise violation and $\widetilde{O}(\sqrt{H^3SAT})$ regret. Lower bounds are provided to validate the optimality in both violation and regret performance with respect to $S$ and $T$. Moreover, we further study a novel safe reward-free exploration problem with step-wise violation constraints. For this problem, we design an $(\varepsilon,\delta)$-PAC algorithm SRF-UCRL, which achieves nearly state-of-the-art sample complexity $\widetilde{O}((\frac{S^2AH^2}{\varepsilon}+\frac{H^4SA}{\varepsilon^2})(\log(\frac{1}{\delta})+S))$, and guarantees $\widetilde{O}(\sqrt{ST})$ violation during the exploration. The experimental results demonstrate the superiority of our algorithms in safety performance, and corroborate our theoretical results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27312v1cs.RO공통 태그 Reinforcement Learning, Safe Reinforcement Learning

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.

arXiv:2609.24526v1cs.CV공통 태그 Reinforcement Learning, Autonomous Driving

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2607.24199v1cs.CV공통 태그 Reinforcement Learning, Autonomous Driving

규정 이해를 위한 추론: 교통 규칙 이해를 위한 사고의 연쇄(Chain-of-Thought)

Reasoning to Regulate: Chain-of-Thought for Traffic Rule Understanding

자율주행에서 교통 규정을 이해하고 준수하는 것은 안전에 매우 중요한 요구사항이지만, 교통 표지의 다양성과 문맥 의존성 때문에 여전히 어려운 과제로 남아 있다. 중요한 점은 규정 이해가 단순한 인식 과제가 아니라 추론 문제라는 것이다. 어떤 규칙이 적용되는지는 표지를 차선의 공간적 배치 및 장면 문맥과의 관계 속에서 해석하는 것에 달려 있다. 이러한 추론을 지원하기 위해 MapDR은 각 교통 표지의 규제 규칙을 해당 규칙이 적용되는 특정 차선과 연결하는 세밀한 주석을 제공한다. 그러나 기존 방법들은 대부분 이를 직접적인 시퀀스 예측으로 취급하여, 표지 의미와 지도 구조를 연결하는 근본적인 추론을 무시한다. 이러한 한계를 해결하기 위해, 우리는 이 과제에 추론을 명시적으로 통합하고 비전-언어(VLM) 모델에 사고의 연쇄(CoT) 능력을 부여하는 프레임워크를 제안한다. 먼저 2라운드 전략을 통해 강력한 대규모 언어 모델(LLM)로부터 근거(rationale)를 부트스트랩하고, VLM 기반 검증기를 사용해 잘못된 사례를 걸러내는 확장 가능한 CoT 큐레이션 파이프라인을 설계하여 고품질 (CoT, answer) 쌍을 확보한다. 이 기반 위에서 2단계 학습 방식을 채택한다: 근거에서 답변으로의 생성을 가르치는 지도 미세조정(SFT)에 이어, 답변 기반의 세밀한 보상을 사용하는 GRPO 강화학습으로 최종 답변 정확도를 더욱 향상시킨다. MapDR에 대한 광범위한 실험은 우리 접근법이 해석 가능성과 정확도를 모두 크게 개선함을 보여주며, 규정 인식(regulation-aware) 자율주행을 위한 최초의 추론 기반 프레임워크를 확립한다.

arXiv:2607.23537v1cs.AI공통 태그 Reinforcement Learning, Autonomous Driving

ObsDriveBench: 관측 가능성 인식을 반영한 악천후 조건에서의 멀티모달 이해 벤치마킹

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.