ShardNet: Training Neural Controllers with Hard, Non-Convex Constraints
원문 초록
While neural network control policies are powerful, their deployment on safety critical systems depends on ensuring that they obey strict constraints. Existing work often treats safety as a metric to optimize for, which competes with other performance objectives, if training converges at all. Instead, we introduce ShardNet, a neural network architecture that strictly enforces unions of polyhedral constraints by construction, using a differentiable projection layer parameterized by a classification network. The key insight is to embed safety into the neural network's structure, allowing performance to be optimized independently because formal safety guarantees are always given. In contrast with existing neural architectures that can only enforce simple convex constraints, ShardNet enables the first safe-by-construction synthesis of forward-invariant neural network controllers on closed-loop systems where safety constraints are expressed as nonconvex unions of polyhedras or learned value function level sets. To support this, we also introduce a technique to verify and train such value functions correctly as rectified linear unit (ReLU) networks, which has not previously been possible. On double integrator benchmarks drawn from the literature, ShardNet policies maintain 100% safety on verified sets and achieves significantly lower objective loss compared to existing formal methods. Furthermore, our value function training technique also produces safe sets more than 3 times larger than existing verification approaches.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30935v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VertexCBF: 꼭짓점 제한 제어 탐색을 통한 신경 제어 장벽 함수 개선
VertexCBF: Improving Neural Control Barrier Functions via Vertex-Restricted Control Search
자율 로봇의 수가 계속 증가함에 따라 안전성은 점점 더 중요해지고 있다. 제어 장벽 함수(CBF)는 안전을 보장하기 위한 이론적으로 정당화된 프레임워크를 제공하지만, 기존 설계 방법은 종종 효과, 확장성, 또는 해석 가능성 측면에서 한계에 직면하며, 지나치게 보수적인 안전 집합을 초래할 수 있다. 본 논문에서는 확장 가능하고 체계적이며 설명 가능한 방식으로 신경 CBF를 학습하기 위한 프레임워크인 VertexCBF를 제안한다. 물리 정보 기반 학습과 희소 지도 학습을 결합하여 훈련된 신경망을 사용하여 정상 Hamilton-Jacobi 값 함수를 근사한다. 제어 아핀(control-affine) 역학과 해밀토니안이 제어 꼭짓점에서 최대화되는 볼록 다면체(convex polytope) 제어 집합을 활용하여, GPU 병렬 꼭짓점 제한 트리 탐색을 통해 지도점을 효율적으로 생성하며, 잔차(residual) 아키텍처는 학습된 CBF가 지정된 제약 함수보다 결코 크지 않음을 보장한다. 15개 시스템에서 방법을 평가하고 관련 베이스라인과 비교한 결과, 베이스라인이 보수적이거나 완전히 실패하는 경우에도 본 방법이 큰 안전 집합을 안정적으로 복구함을 보여준다. 또한 본 방법으로 학습한 신경 CBF를 사용하여 이동 로봇이 보행자를 안전하게 회피하는 하드웨어 실험을 수행한다.
제어 장벽 함수 층을 이용한 고차원 안전 최적 피드백 제어의 엔드투엔드 학습
End-to-End Learning of Safe Optimal Feedback Control in High Dimensions with Control Barrier Function Layers
제어 장벽 함수(CBF)에 의해 강제되는 엄격한 안전 제약 하에서 고차원 반전역(semi-global) 피드백 제어기를 학습하는 문제를 고려한다. CBF를 엔드투엔드 정책 학습에 통합하려면 이차 계획(quadratic program) 기반 안전 필터를 최적화 층으로 임베딩해야 하지만, 계산 및 미분 병목으로 인해 기존 접근법은 대체로 저차원 시스템, 일반적으로 상태 차원이 최대 16인 경우에 국한되었다. 연산자 분할(operator splitting)과 최근 개발된 야코비안-프리 역전파(Jacobian-Free Backpropagation, JFB) 방법을 결합하여 CBF 안전 필터를 통해 엄격한 안전 보장을 유지하면서 확장 가능한 엔드투엔드 학습을 가능하게 함으로써 이 한계를 해결한다. 비매끄러 분석(nonsmooth analysis) 기법을 사용하여 이 학습 방법론을 이론적으로 정당화하고, 상태 및 제어 차원이 각각 최대 1200과 400인 고차원 다중 에이전트 비선형 제어 문제에서 그 효과를 입증한다.
SMC-ES: 형식적으로 검증된 제어 정책의 자동 합성
SMC-ES: Automated synthesis of formally verified control policies
안전이 핵심인 환경에서 자율 사이버-물리 시스템을 배포하려면, 성능뿐만 아니라 증명 가능하게 안전하고 강건한 폐루프 제어 전략(즉, 정책)이 필요하다. 강화학습과 같은 학습 기반 방법론은 이러한 제어기를 자동으로 합성하는 유연하고 확장 가능한 접근을 제공하지만, 일반적으로 안전한 배포에 필요한 형식적 보장이 부족하다. 이 격차를 메우기 위해, 성능, 안전성, 강건성 사양에 대한 형식적 보장을 갖춘 정책을 자동으로 합성하는 새로운 시뮬레이션 기반 방법론을 제안한다. 구체적으로, 검증할 속성 집합, 신뢰 매개변수 $δ$, 허용 가능한 실패 확률 $\varepsilon$가 주어졌을 때, 본 방법은 합성된 정책에 증명서가 동반됨을 보장한다: 신뢰도가 최소 $1 - δ$일 때, 주어진 속성이 위반되는 시나리오를 만날 확률은 최대 $\varepsilon$이다. Evolutionary Strategies와 통계적 모델 검증(Statistical Model Checking) 기반 검증을 통합하는 알고리즘 SMC-ES를 개발하여 접근법의 타당성을 보인다. Gymnasium 및 Safety Gymnasium 테스트베드를 사용하여 연속 제어 과업 모음에서 SMC-ES를 평가한다. 결과는, 지속 가능한 수준의 계산 비용 증가라는 대가로, 본 알고리즘이 성능, 안전성, 강건성 사양에 대한 형식적 보장을 제공하면서도 선도적인 모델-프리(model-free) 심층 강화학습(DRL) 및 Safe-DRL 베이스라인과 경쟁력 있는 성능을 보인다는 것을 보여준다.
분포적으로 강건하고 안전한 모방 학습
Distributionally Robust and Safe Imitation Learning
모방 학습(IL)은 복잡한 의사결정 작업에서 뛰어난 성과를 거두었다. 그러나 그 성능은 분포 변화(distribution shift)에 매우 민감하며, 이는 상당한 안전성 위험을 초래할 수 있다. 본 연구는 정책 유발 및 불확실성 유발 분포 변화를 모두 명시적으로 다루는 분포적으로 강건하고 안전한 모방 학습(IL) 프레임워크를 제안한다. 본 접근법은 정책 유발 변화를 완화하기 위해 테일러 급수 모방 학습(Taylor Series Imitation Learning, TaSIL)을, 불확실성 유발 변화를 처리하기 위해 분포적으로 강건한 적응 제어를 활용하는 통합 프레임워크를 구축한다. 이 아키텍처를 통해 분포적 불확실성 하에서 성능을 최적화하면서 안전성 제약을 체계적으로 고려하는 모방 학습(IL) 문제를 정식화할 수 있다. 제안된 접근법의 효과는 무인 항공기(UAV)가 불확실한 환경에서 작업을 수행하면서 안전하지 않은 영역을 회피하는 무인 항공기(UAV) 사례 연구를 통해 입증한다.
Adaptive Reparametrized Time for Score-Based Diffusion Sampling
시나리오 기반 모델 예측 제어의 학습 기반 가속
Learning-enabled Acceleration of Scenario-based Model Predictive Control
토론
이 논문과 연결된 포럼 글이 아직 없습니다.