arXiv:2610.01581v1 cs.AI

자율주행을 위한 생성형 시나리오 모델의 물리적 일관성 및 타당성 평가

Evaluating Physical Consistency and Plausibility in Generative Scenario Models for Autonomous Driving

Manasa Mariam Mammen, Zafer Kayatas, Stefan Wagner

제출 2026-10-01

한국어 초록

자율주행 분야에서 시나리오 생성을 위해 생성형 인공지능(AI) 모델이 점차 널리 활용되고 있습니다. 이러한 모델들은 현실적으로 보이는 시나리오를 생성할 수 있지만, 학습된 표현의 투명성이 제한적인 경우가 많으며 실제 차량 동역학과의 일관성도 부족합니다. 이러한 공식적 보장의 부재는 안전이 중요한 검증(validation) 및 인증 워크플로우에서의 활용을 제한합니다. 이를 해결하기 위해, 본 연구에서는 5개 층(layer)에 걸쳐 모델을 평가함으로써 기존 방식을 보완하는 계층형 평가 프로토콜을 제안합니다. 첫 네 개의 층은 기구학적 정렬, 통계적 기준선(baseline) 비교, 잠재 공간 제어 가능성, 활성화 분석을 통해 내부 표현과 네트워크 층을 검사합니다. 다섯 번째 층은 횡방향 저크(jerk) 임계값과 같은 차량 동역학 제약조건에 맞춰 모델 출력을 평가합니다. 본 연구는 변이형 오토인코더(VAE) 기반 시나리오 생성기에서 해당 프로토콜을 실증합니다. 표준 출력 수준 지표와 시각화에서는 생성된 시나리오가 현실적인 것으로 나타나지만, 제안하는 프로토콜은 모델의 잠재 공간이 기구학적 특징과 정렬되는 정도와 시각적으로 타당한 궤적이 차량 동역학 제약조건을 만족하는지에 대해 더 깊은 통찰을 제공합니다. 나아가 추가적인 생성형 모델들에도 프로토콜을 적용하여 VAE 구조를 넘어선 확장 적용 가능성을 입증합니다.

원문 초록

Generative AI models are increasingly used for scenario generation in autonomous driving. While they can generate realistic-looking scenarios, they often provide limited transparency into learned representations and consistency with real-world vehicle dynamics. This lack of formal assurance limits their use in safety-critical validation and certification workflows. To address this aspect, we introduce a layered evaluation protocol that complements existing methods by assessing models across five layers. The first four layers inspect internal representations and network layers through kinematic alignment, statistical baseline comparison, latent controllability, and activation analysis. The fifth layer evaluates model outputs against vehicle dynamics constraints such as lateral jerk thresholds. We demonstrate the protocol on a Variational Autoencoder (VAE)-based scenario generator. Although standard output-level metrics and visualizations suggest that the generated scenarios are realistic, our protocol provides deeper insight into the extent to which the model's latent space aligns with kinematic features and whether visually plausible trajectories satisfy vehicle-dynamics constraints. We further apply the protocol to additional generative models, demonstrating its applicability beyond the VAE architecture.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01581v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27296v1cs.SE공통 태그 Autonomous Driving, scenario generation

Teach-to-Crash: 충돌 유발 테스트 시나리오 생성을 위한 폐루프 학생-교사 LLM 프레임워크

Teach-to-Crash: A Closed-Loop Student-Teacher LLM Framework for Collision-Inducing Test Scenario Generation

시뮬레이션에서 자율주행 시스템(ADS)을 검증하려면, 희귀하고 안전에 중요한(safety-critical) 실패를 발견하면서 실행 가능하고 다양하며 후속 실패 분석에 유용한 시나리오를 생성할 수 있는 테스트 아키텍처가 필요하다. 본 논문은 제약된 ego 중심 시나리오 표현, 정체(stagnation) 인식 검색 제어, 적응형 실패 탐색을 위한 이중 LLM 아키텍처를 결합한 폐루프 테스트 프레임워크 Teach-to-Crash를 제안한다. 고추론 Teacher LLM은 적응형 검색 제어기 역할을 하고, 저추론 Student LLM은 엄격한 JSON 스키마로 시뮬레이터에서 실행 가능한 시나리오를 출력한다. Teacher는 rolling collision rate와 time-to-collision 지표가 정체될 때만 개입하여 검색을 재방향할 전략적 지침을 제공한다. ego 차량의 속도 정책을 달리한 두 실험 설정으로 수행한 CARLA 사례 연구에서 Teach-to-Crash는 최고 Collision Hit Rate(90.79%), 최단 평균 Time-to-Collision(18.31 s), 경쟁력 있는 Collision Discovery Rate(136.21)를 달성했다. PAFOT은 더 높은 평균 CDR(179.44)을 기록했으나 분산이 훨씬 컸다. Teach-to-Crash는 또한 최고 다양성(0.547)과, CARLA Traffic Manager 컨트롤러 기준 두 설정을 평균했을 때 비교 방법 중 avoidability 기반 유용성 proxy가 가장 높았다(60.04%). 평가된 CARLA 범위 내에서 이러한 결과는, 폐루프 이중 LLM 추론이 제약된 실행 가능 프로그램 공간 위에서 적대적 시뮬레이션 기반 테스트를 조향하여 빈번하고 구조적으로 다양하며 더 자주 회피 가능한 것으로 평가되는 실패를 생성할 수 있음을 보여 준다.

arXiv:2607.19701v1cs.CV공통 태그 Autonomous Driving, scenario generation

SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.

arXiv:2607.14387v1cs.AI공통 태그 Autonomous Driving, scenario generation

Chat2Scenic: 자율주행 시나리오 생성을 위한 반복적 RAG 기반 프레임워크

Chat2Scenic: An Iterative RAG-Based Framework for Scenario Generation in Autonomous Driving

자율주행 시스템의 검증에는 다양하고 규제를 준수하는 테스트 시나리오가 필요하다. 시뮬레이션 기반 테스트에서는 시나리오가 실행 가능한 스크립트로 정의된다. 그러나 규제 설명으로부터 이러한 스크립트를 자동 생성하는 것은 여전히 미해결 과제이며, 기존 접근법들은 근본적인 트레이드오프에 직면한다. 검색-조립(retrieval-assemble) 방법은 합리적인 컴파일 성공률을 달성하지만 확장성이 부족한 반면, 검색 기반 전체 스크립트 생성은 낮은 컴파일 성공률을 겪는다. 우리는 도메인 특화 언어(Domain Specific Language, DSL)로 시나리오 스크립트를 생성하는 최초의 반복적 검색-증강 프레임워크인 Chat2Scenic을 제안한다. 구체적으로 Chat2Scenic은 대화형 시나리오 정교화를 지원하는 챗봇 인터페이스를 제공하고, 규제 지식과 DSL 문법에 시나리오 생성을 그라운딩(grounding)하기 위해 검색-증강 생성(RAG)을 통합한다. 또한 NHTSA 및 유엔(UN) 차량 규정을 비롯한 다양한 규제 및 기타 출처로부터 123개의 시나리오로 구성된 시나리오 생성용 공개 벤치마크를 제안한다. 최신(SOTA) 대규모 언어 모델(LLM)을 사용한 광범위한 평가를 통해 Chat2Scenic이 76.42%의 컴파일 성공률(Compilation Success Rate, CSR)과 58.17%의 프레임워크 정확도(Framework Accuracy, FA)를 달성하여 기존 방법들(검색-조립(Retrieval Assemble): CSR 30.08%, FA 11.03%; 검색 기반 전체 스크립트 생성(Retrieval full script generation): CSR 16.26%, FA 10.86%)을 능가함을 보여준다. 향후 연구를 위해 코드를 오픈소스로 공개한다: https://github.com/TUM-AVS/chat2scenic.

arXiv:2606.21115v1cs.CV공통 태그 Autonomous Driving

MS-rPPG: 운전자 모니터링 시스템에서 원격 광용적맥파를 위한 다중 스펙트럼 상태 공간 모델

MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems

원격 광용적맥파(rPPG)는 생리 신호, 특히 심장 활동을 측정하는 카메라 기반 기법이다. 원격으로 측정된 신호로부터 심박수를 추정할 수 있으며, 이는 건강 모니터링에 매우 중요하다. 본 연구에서는 원격 심박수 추정에 기반한 운전자 건강 모니터링 시스템을 조사한다. 그러나 운전 환경은 제어되지 않은 환경으로, 영상이 다양한 조명 조건과 빈번한 머리 움직임의 영향을 받는다. MS-rPPG를 도입한다. 이는 RGB와 근적외선(NIR) 얼굴 영상을 결합하여 어려운 운전 조건 하에서 rPPG 추정을 완화하는 다중 스펙트럼 프레임워크이다. 두 스펙트럼 영상의 상보적 특징을 결합하기 위해, 주파수 영역 분석에 기반한 교차 스펙트럼 선형 변조(CSLM) 전략을 제안한다. 또한 다중 스펙트럼 특징 간 교차 채널 상호작용을 공동으로 포착하면서 장거리 시간적 의존성을 효과적으로 모델링하도록 설계된 새로운 상태 공간 모델인 MS-Mamba를 도입한다. 50명의 참가자가 차량을 운전하는 동안 기록한 MS-Drive라는 실세계 데이터셋을 수집했다. 제안 방법은 MR-NIRP Car 데이터셋과 MS-Drive 데이터셋에서 평가되었다. 실험 결과, MS-rPPG가 이전 방법들보다 더 나은 견고성과 심박수 추정 정확도를 보였으며, 운전자 건강 모니터링에 대한 잠재력을 강조한다. 코드는 github.com/ziiho08/MS-rPPG에서 이용할 수 있다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.