안전이 핵심인 환경에서 자율 사이버-물리 시스템을 배포하려면, 성능뿐만 아니라 증명 가능하게 안전하고 강건한 폐루프 제어 전략(즉, 정책)이 필요하다. 강화학습과 같은 학습 기반 방법론은 이러한 제어기를 자동으로 합성하는 유연하고 확장 가능한 접근을 제공하지만, 일반적으로 안전한 배포에 필요한 형식적 보장이 부족하다. 이 격차를 메우기 위해, 성능, 안전성, 강건성 사양에 대한 형식적 보장을 갖춘 정책을 자동으로 합성하는 새로운 시뮬레이션 기반 방법론을 제안한다. 구체적으로, 검증할 속성 집합, 신뢰 매개변수 $δ$, 허용 가능한 실패 확률 $\varepsilon$가 주어졌을 때, 본 방법은 합성된 정책에 증명서가 동반됨을 보장한다: 신뢰도가 최소 $1 - δ$일 때, 주어진 속성이 위반되는 시나리오를 만날 확률은 최대 $\varepsilon$이다. Evolutionary Strategies와 통계적 모델 검증(Statistical Model Checking) 기반 검증을 통합하는 알고리즘 SMC-ES를 개발하여 접근법의 타당성을 보인다. Gymnasium 및 Safety Gymnasium 테스트베드를 사용하여 연속 제어 과업 모음에서 SMC-ES를 평가한다. 결과는, 지속 가능한 수준의 계산 비용 증가라는 대가로, 본 알고리즘이 성능, 안전성, 강건성 사양에 대한 형식적 보장을 제공하면서도 선도적인 모델-프리(model-free) 심층 강화학습(DRL) 및 Safe-DRL 베이스라인과 경쟁력 있는 성능을 보인다는 것을 보여준다.
Markov decision processes (MDPs) are a classic model of decision making under uncertainty, exhibiting both non-deterministic choice as well as probabilistic uncertainty. Traditionally, exact knowledge of the underlying probabilities is assumed. However, this often is unrealistic, e.g.\ when modelling cyber-physical systems or biological processes. Here, statistical methods provide a way towards obtaining meaningful guarantees. The classical approach is to gather samples in the MDP, use these to draw statistical conclusions about the transition probabilities, and from there obtain bounds on the true value; then, if these bounds are too broad, repeat. However, existing implementations of this approach are either subtly incorrect or sub-optimal, and quite often both. We present several \emph{confidence sequences}, which are specifically designed for such \enquote{online} settings, implement all of them in an efficient tool, and show their practical applicability. In particular, we show that they outperform classical \enquote{union-bound} style approaches, and overall our implementation requires 50x less samples on average than previous state of the art.