arXiv:1910.06715

Testing and verification of neural-network-based safety-critical control software: A systematic literature review

Jin Zhang, Jingyue Li

제출 2019-10-05

원문 초록

Context: Neural Network (NN) algorithms have been successfully adopted in a number of Safety-Critical Cyber-Physical Systems (SCCPSs). Testing and Verification (T&V) of NN-based control software in safety-critical domains are gaining interest and attention from both software engineering and safety engineering researchers and practitioners. Objective: With the increase in studies on the T&V of NN-based control software in safety-critical domains, it is important to systematically review the state-of-the-art T&V methodologies, to classify approaches and tools that are invented, and to identify challenges and gaps for future studies. Method: We retrieved 950 papers on the T&V of NN-based Safety-Critical Control Software (SCCS). To reach our result, we filtered 83 primary papers published between 2001 and 2018, applied the thematic analysis approach for analyzing the data extracted from the selected papers, presented the classification of approaches, and identified challenges. Conclusion: The approaches were categorized into five high-order themes: assuring robustness of NNs, assuring safety properties of NN-based control software, improving the failure resilience of NNs, measuring and ensuring test completeness, and improving the interpretability of NNs. From the industry perspective, improving the interpretability of NNs is a crucial need in safety-critical applications. We also investigated nine safety integrity properties within four major safety lifecycle phases to investigate the achievement level of T&V goals in IEC 61508-3. Results show that correctness, completeness, freedom from intrinsic faults, and fault tolerance have drawn most attention from the research community. However, little effort has been invested in achieving repeatability; no reviewed study focused on precisely defined testing configuration or on defense against common cause failure.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.15604v4cs.CL공통 태그 Systematic Literature Review공식 코드 · Papers with Code

텍스트 생성: 과업, 평가 및 해결 과제에 대한 체계적 문헌 고찰

Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges

텍스트 생성에 대한 접근성이 그 어느 때보다 높아졌으며, 특히 대규모 언어 모델(LLM)을 활용한 시스템에 대한 관심이 커지면서 관련 논문의 출판이 급증하고 있습니다. 본 연구에서는 2017년 1월부터 2025년 12월까지의 기간을 아우르는 257편의 논문으로 구성된 체계적 문헌 고찰을 제공합니다. 이 리뷰에서는 텍스트 생성 분야의 기여를 오픈엔드(open-ended) 텍스트 생성, 요약, 번역, 패러프레이징, 질의응답이라는 다섯 가지 주요 과업으로 분류합니다. 자체적인 분류 체계의 각 과업에 대해 관련 특성과 핵심 하위 과업을 검토합니다. 또한 비모델 기반(model-free), 모델(model) 기반, 인간 평가를 아우르며 텍스트 생성 시스템을 평가하기 위한 최신 접근법을 평가합니다. 본 조사에서는 여러 과업별 도전 과제(예: 다중 문서 요약을 위한 데이터셋 부재, 스토리 생성에서의 일관성 부족, 질의응답에서의 복합 추론 어려움 등)를 밝혀냅니다. 나아가 최근 텍스트 생성 논문들의 모든 과업 및 하위 과업에서 공통으로 나타나는 9가지 도전 과제인 바이어스(bias), 추론, 환각(hallucination), 오용, 개인정보 보호, 해석 가능성, 투명성, 데이터셋, 컴퓨팅에 대해 논의합니다. 이 체계적 문헌 고찰은 두 가지 주요 독자층을 대상으로 합니다. 바로 해당 분야의 전반적인 개요와 유망한 연구 방향을 모색하는 자연어 처리(NLP) 분야의 신진 연구자와, 주요 과업, 평가, 도전 과제 및 완화 전략에 대한 최신 개요가 필요한 시니어 연구자입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.