arXiv:2610.13479v1 cs.AI

안전성 보증을 위한 엣지 케이스 시나리오 생성 로컬 에이전틱 AI 프레임워크

A Local Agentic AI Framework to Generate Edge Case Scenarios for Safety Assurance

Victoria J. Hodge, Colin Paterson, Rob Alexander

제출 2026-10-09

한국어 초록

엣지 케이스(edge case) 시나리오 생성은 자율 시스템의 학습(training), 테스트 및 안전성 보증(safety assurance)에 매우 중요합니다. 이는 위험한 실패 요소를 식별하여 시스템의 신뢰성과 견고성을 높이고, 시스템이 운용 설계 영역(ODD)의 경계에서도 여전히 안전하게 기능할 수 있도록 보장하며, 이러한 엣지 케이스에 대한 시스템의 예상 동작을 학습합니다. 언어 모델(LM)의 생성 및 분석 능력의 급격한 발전으로 적용 범위가 확장되었으며, 최근 연구에서는 LM을 활용한 시나리오 생성을 조사했습니다. 그러나 많은 최신 접근법은 인간 참여형(human-in-the-loop) 또는 규칙 기반 전략에 의존합니다. 이는 분포의 롱테일(long tail)에 해당하는 다양하고 극단적인 엣지 케이스 시나리오를 생성하는 LM의 능력을 제한합니다. 본 연구는 적응형 시나리오 생성을 위해 랩톱 기반의 에이전틱 AI(agentic AI) 프레임워크에서 로컬 LM을 사용합니다. 이는 비용이 저렴하고 완전한 통제가 가능하며 데이터 프라이버시와 보안을 보장합니다. 또한 가벼운 JSON 인코딩과 함께 사고(think), 행동(act), 관찰(observe), 업데이트(update), 지속(continue) 루프를 사용하여 시나리오를 생성합니다. 시나리오의 현실성을 보장하기 위해 시스템 요구사항, 시스템 설명, 환경(environment) 설명을 LM을 위한 문맥 프롬프트 내 지식 베이스로 사용합니다. 독립된 두 번째 LM은 시나리오가 개선될 수 있도록 도메인 특화 기준을 사용하여 각 시나리오를 비평합니다. 정제된 시나리오는 시뮬레이션에서 실행되고 평가 지표가 수집됩니다. 이러한 지표 점수를 분석하여 엣지 케이스에 대한 유사한 시나리오를 생성(활용, exploitation)하거나, 시나리오 공간을 탐색(exploration)하기 위한 새로운 시나리오를 생성합니다. 지표 점수를 이용한 사후 클러스터링과 LM이 생성한 리치 텍스트 시나리오 설명의 주제 유형 분석을 통해 기능적 격차와 그 유발 조건을 정확히 찾아냅니다. 이는 안전성 보증 케이스를 위한 추적 가능한 증거를 생성합니다. 본 연구는 엣지 케이스 생성을 자동화하고 추적 가능한 안전성 보증 증거를 산출하는 데 있어 유연하고 적응력 있는 로컬 에이전틱 AI 프레임워크의 잠재력을 강조합니다.

원문 초록

Generating edge case scenarios is crucial for training, testing and safety assuring autonomous systems. This identifies hazardous failures to increase system reliability and robustness, ensures the system can still function safely on the boundaries of its operational design domain and learns the expected system behaviour for these edge cases. The rapid advancement in the generation and analysis capabilities of language models (LMs) has expanded their applicability and recent work has investigated LM scenario generation. However, many recent approaches rely on human-in-the-loop or rule-based strategies. This restricts the LM's ability to generate diverse and edge case scenarios; the long tail of the distribution. Our work uses local LMs in a laptop-based agentic AI framework for adaptive scenario generation. This is cheap, fully-controlled, ensures data privacy and security. It uses think, act, observe, update, and continue loops with lightweight JSON encoding to generate scenarios. We use the system requirements, system description and environment description as knowledge bases in contextual prompts for an LM to ensure scenario realism. A second, independent LM critiques each scenario using domain specific criteria so it can be refined. The refined scenarios are run in simulation and evaluation metrics collected. These metric scores are analysed and similar scenarios are created for edge cases (exploitation) or novel scenarios are generated to explore the scenario space. Post-hoc clustering using metric scores and thematic-type analysis of the rich-text scenario descriptions produced by the LM pinpoints functional gaps and their triggering conditions. This creates traceable evidence for the safety assurance case. Our work highlights the potential of a flexible and adaptive local agentic AI framework for automating edge case generation and producing traceable safety assurance evidence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13479v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21426v2cs.LG공통 태그 Clustering

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.