Trusted Neural Networks for Safety-Constrained Autonomous Control
원문 초록
We propose Trusted Neural Network (TNN) models, which are deep neural network models that satisfy safety constraints critical to the application domain. We investigate different mechanisms for incorporating rule-based knowledge in the form of first-order logic constraints into a TNN model, where rules that encode safety are accompanied by weights indicating their relative importance. This framework allows the TNN model to learn from knowledge available in form of data as well as logical rules. We propose multiple approaches for solving this problem: (a) a multi-headed model structure that allows trade-off between satisfying logical constraints and fitting training data in a unified training framework, and (b) creating a constrained optimization problem and solving it in dual formulation by posing a new constrained loss function and using a proximal gradient descent algorithm. We demonstrate the efficacy of our TNN framework through experiments using the open-source TORCS~\cite{BernhardCAA15} 3D simulator for self-driving cars. Experiments using our first approach of a multi-headed TNN model, on a dataset generated by a customized version of TORCS, show that (1) adding safety constraints to a neural network model results in increased performance and safety, and (2) the improvement increases with increasing importance of the safety constraints. Experiments were also performed using the second approach of proximal algorithm for constrained optimization --- they demonstrate how the proposed method ensures that (1) the overall TNN model satisfies the constraints even when the training data violates some of the constraints, and (2) the proximal gradient descent algorithm on the constrained objective converges faster than the unconstrained version.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 병목을 활용한 정책 학습
Policy Learning with a Language Bottleneck
자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.
Representation Improvement in Latent Space for Search-Based Testing of Autonomous Robotic Systems
On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression
COOOL: Challenge Of Out-Of-Label A Novel Benchmark for Autonomous Driving
CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator
Context-Aware Full Body Anonymization using Text-to-Image Diffusion Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.