arXiv:2006.09181

Formal Verification of End-to-End Learning in Cyber-Physical Systems: Progress and Challenges

Nathan Fulton, Nathan Hunt, Nghia Hoang, Subhro Das

제출 2020-06-15

원문 초록

Autonomous systems -- such as self-driving cars, autonomous drones, and automated trains -- must come with strong safety guarantees. Over the past decade, techniques based on formal methods have enjoyed some success in providing strong correctness guarantees for large software systems including operating system kernels, cryptographic protocols, and control software for drones. These successes suggest it might be possible to ensure the safety of autonomous systems by constructing formal, computer-checked correctness proofs. This paper identifies three assumptions underlying existing formal verification techniques, explains how each of these assumptions limits the applicability of verification in autonomous systems, and summarizes preliminary work toward improving the strength of evidence provided by formal verification.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.04118v4cs.LG공통 태그 Self-Driving Cars공식 코드 · Papers with Code

언어 병목을 활용한 정책 학습

Policy Learning with a Language Bottleneck

자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.