PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13479v1cs.AI

안전성 보증을 위한 엣지 케이스 시나리오 생성 로컬 에이전틱 AI 프레임워크

A Local Agentic AI Framework to Generate Edge Case Scenarios for Safety Assurance

엣지 케이스(edge case) 시나리오 생성은 자율 시스템의 학습(training), 테스트 및 안전성 보증(safety assurance)에 매우 중요합니다. 이는 위험한 실패 요소를 식별하여 시스템의 신뢰성과 견고성을 높이고, 시스템이 운용 설계 영역(ODD)의 경계에서도 여전히 안전하게 기능할 수 있도록 보장하며, 이러한 엣지 케이스에 대한 시스템의 예상 동작을 학습합니다. 언어 모델(LM)의 생성 및 분석 능력의 급격한 발전으로 적용 범위가 확장되었으며, 최근 연구에서는 LM을 활용한 시나리오 생성을 조사했습니다. 그러나 많은 최신 접근법은 인간 참여형(human-in-the-loop) 또는 규칙 기반 전략에 의존합니다. 이는 분포의 롱테일(long tail)에 해당하는 다양하고 극단적인 엣지 케이스 시나리오를 생성하는 LM의 능력을 제한합니다. 본 연구는 적응형 시나리오 생성을 위해 랩톱 기반의 에이전틱 AI(agentic AI) 프레임워크에서 로컬 LM을 사용합니다. 이는 비용이 저렴하고 완전한 통제가 가능하며 데이터 프라이버시와 보안을 보장합니다. 또한 가벼운 JSON 인코딩과 함께 사고(think), 행동(act), 관찰(observe), 업데이트(update), 지속(continue) 루프를 사용하여 시나리오를 생성합니다. 시나리오의 현실성을 보장하기 위해 시스템 요구사항, 시스템 설명, 환경(environment) 설명을 LM을 위한 문맥 프롬프트 내 지식 베이스로 사용합니다. 독립된 두 번째 LM은 시나리오가 개선될 수 있도록 도메인 특화 기준을 사용하여 각 시나리오를 비평합니다. 정제된 시나리오는 시뮬레이션에서 실행되고 평가 지표가 수집됩니다. 이러한 지표 점수를 분석하여 엣지 케이스에 대한 유사한 시나리오를 생성(활용, exploitation)하거나, 시나리오 공간을 탐색(exploration)하기 위한 새로운 시나리오를 생성합니다. 지표 점수를 이용한 사후 클러스터링과 LM이 생성한 리치 텍스트 시나리오 설명의 주제 유형 분석을 통해 기능적 격차와 그 유발 조건을 정확히 찾아냅니다. 이는 안전성 보증 케이스를 위한 추적 가능한 증거를 생성합니다. 본 연구는 엣지 케이스 생성을 자동화하고 추적 가능한 안전성 보증 증거를 산출하는 데 있어 유연하고 적응력 있는 로컬 에이전틱 AI 프레임워크의 잠재력을 강조합니다.