arXiv:2606.31131v1 cs.AI

Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

Anjali Parashar, Chuchu Fan

제출 2026-06-30

원문 초록

To ensure safe on-road behavior, pre-deployment testing and failure discovery of Autonomous Driving Systems (ADS) is crucial. Present day simulation based testing methods focus largely on mathematical models for efficient search of optimal scenarios, assuming a fixed scenario representation. On the other hand, real-world testing involves substantial manual effort to design scenario templates for testing. These templates represent distinct failure scenarios consisting of pre-deployment vehicle movements, map types, etc. Historical failure records for ADS are a reliable source of real-world failure conditions, which can be used for scenario generation. In this work, we propose a scenario generation pipeline using categorical and contextual information available from historical records in natural language format. Our approach consists of modular LLM based synthetic scenario generation, compatible with the testing constraints of a given system. We successfully apply our method to generate a diverse set of scenarios for testing autonomous navigation on Metadrive simulator using the NHTSA ADS crash records. Our approach results in accurate and diverse scenario generation with a combination of 4 road types, 3 non ego vehicle movement types, including on road anomalies in the form of working zones. Generated scenarios align with the provided testing conditions, and reveals interesting failures of the system within a limited testing budget of 20 scenarios. Code is available at https://github.com/anjaliParashar/crash2scenario.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31131v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15846v1cs.CV공통 태그 Autonomous Driving, Autonomous Vehicles

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.02513v1cs.CV공통 태그 Autonomous Driving, Large Language Model

파편에서 글로벌 맵으로: 대규모 언어 모델을 활용한 벡터화 지도 통합 학습

From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models

대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.

arXiv:2610.02825v1cs.CV공통 태그 Autonomous Driving, Autonomous Vehicles

TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집

TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving

도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.

arXiv:2610.01581v1cs.AI공통 태그 Autonomous Driving, scenario generation

자율주행을 위한 생성형 시나리오 모델의 물리적 일관성 및 타당성 평가

Evaluating Physical Consistency and Plausibility in Generative Scenario Models for Autonomous Driving

자율주행 분야에서 시나리오 생성을 위해 생성형 인공지능(AI) 모델이 점차 널리 활용되고 있습니다. 이러한 모델들은 현실적으로 보이는 시나리오를 생성할 수 있지만, 학습된 표현의 투명성이 제한적인 경우가 많으며 실제 차량 동역학과의 일관성도 부족합니다. 이러한 공식적 보장의 부재는 안전이 중요한 검증(validation) 및 인증 워크플로우에서의 활용을 제한합니다. 이를 해결하기 위해, 본 연구에서는 5개 층(layer)에 걸쳐 모델을 평가함으로써 기존 방식을 보완하는 계층형 평가 프로토콜을 제안합니다. 첫 네 개의 층은 기구학적 정렬, 통계적 기준선(baseline) 비교, 잠재 공간 제어 가능성, 활성화 분석을 통해 내부 표현과 네트워크 층을 검사합니다. 다섯 번째 층은 횡방향 저크(jerk) 임계값과 같은 차량 동역학 제약조건에 맞춰 모델 출력을 평가합니다. 본 연구는 변이형 오토인코더(VAE) 기반 시나리오 생성기에서 해당 프로토콜을 실증합니다. 표준 출력 수준 지표와 시각화에서는 생성된 시나리오가 현실적인 것으로 나타나지만, 제안하는 프로토콜은 모델의 잠재 공간이 기구학적 특징과 정렬되는 정도와 시각적으로 타당한 궤적이 차량 동역학 제약조건을 만족하는지에 대해 더 깊은 통찰을 제공합니다. 나아가 추가적인 생성형 모델들에도 프로토콜을 적용하여 VAE 구조를 넘어선 확장 적용 가능성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.