Adversarial Safety-Critical Scenario Generation using Naturalistic Human Driving Priors
원문 초록
Evaluating the decision-making system is indispensable in developing autonomous vehicles, while realistic and challenging safety-critical test scenarios play a crucial role. Obtaining these scenarios is non-trivial, thanks to the long-tailed distribution, sparsity, and rarity in real-world data sets. To tackle this problem, in this paper, we introduce a natural adversarial scenario generation solution using naturalistic human driving priors and reinforcement learning techniques. By doing this, we can obtain large-scale test scenarios that are both diverse and realistic. Specifically, we build a simulation environment that mimics natural traffic interaction scenarios. Informed by this environment, we implement a two-stage procedure. The first stage incorporates conventional rule-based models, e.g., IDM~(Intelligent Driver Model) and MOBIL~(Minimizing Overall Braking Induced by Lane changes) model, to coarsely and discretely capture and calibrate key control parameters from the real-world dataset. Next, we leverage GAIL~(Generative Adversarial Imitation Learning) to represent driver behaviors continuously. The derived GAIL can be further used to design a PPO~(Proximal Policy Optimization)-based actor-critic network framework to fine-tune the reward function, and then optimizes our natural adversarial scenario generation solution. Extensive experiments have been conducted in the NGSIM dataset including the trajectory of 3,000 vehicles. Essential traffic parameters were measured in comparison with the baseline model, e.g., the collision rate, accelerations, steering, and the number of lane changes. Our findings demonstrate that the proposed model can generate realistic safety-critical test scenarios covering both naturalness and adversariality, which can be a cornerstone for the development of autonomous vehicles.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델
WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving
비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.
AnchorVLA: 이산적 결정과 연속적 궤적을 잇는 비전-언어-행동 계획
AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning
자율주행 계획은 탐색 의도, 교통 규칙, 동적 상호작용, 언어 지시를 실행 가능한 연속 궤적으로 변환해야 한다. 비전-언어-행동(VLA) 모델은 롱테일 일반화, 상식 추론, 고수준 의미 이해, 설명 가능성을 향상시키기 위해 주행 계획에 도입되었다. 그러나 기존 VLA 플래너들은 대부분 계획 헤드 기반 궤적 예측 또는 전체 궤적 자기회귀 생성 방식을 따른다. 전자는 VLA 추론으로 연속 궤적 생성을 약하게만 제약하며, 후자는 정보 밀도가 낮은 좌표 토큰의 긴 시퀀스에 의존하여 의미-행동 정렬을 어렵게 하고 이산화 오류와 비효율적인 추론을 초래한다. 이러한 한계를 극복하기 위해 우리는 AnchorVLA를 제안한다. AnchorVLA는 고수준 VLA 추론과 연속 궤적 실행 사이의 명시적 인터페이스로 궤적 패턴 앵커를 활용하는 계층적 결정 앵커 기반 VLA 계획 프레임워크이다. 구체적으로, 결정-앵커 표현(Decision-as-Anchor Representation)은 단일 좌표점이 아닌 전체 지역 동작 패턴을 인코딩하는 앵커 토큰으로 행동 수준의 주행 결정을 표현한다. 결정 앵커 잔차 흐름(Decision-Anchored Residual Flow)은 고수준 의사결정 이후 다중 모달 실행 세밀화를 포착하기 위해 선택된 앵커가 정의하는 잔차 공간에서 세밀한 연속 궤적을 생성한다. 웨이포인트 시퀀스를 자기회귀적으로 생성하는 대신 컴팩트하고 의미론적으로 의미 있는 앵커를 추론함으로써, AnchorVLA는 LLM 기반 의사결정을 보존하면서 추론 효율성, 의미-행동 정렬, 연속 생성 유연성을 향상시킨다. Bench2Drive 폐루프 벤치마크 실험에서 AnchorVLA는 77.28의 최고 수준 성공률(Success Rate)과 89.92의 경쟁력 있는 주행 점수(Driving Score)를 달성하였다.
데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사
Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning
시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
인간 시연으로부터의 접촉 렌치 안내를 이용한 능숙한 조작 학습
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
능숙한 로봇 조작은 풍부한 인간 시연으로부터 이점을 얻을 수 있으나, 이러한 시연을 로봇 정책으로 전이하는 것은 여전히 어렵다. 본 논문은 강화학습을 이용한 강체 및 관절 물체의 장기 조작을 위한 프레임워크인 인간 시연 기반 로봇 능숙 조작의 접촉 렌치 안내(Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation, CHORD)를 제시한다. 핵심 아이디어는 객체 중심 접촉 렌치 공간 안내이다. 인간과 로봇의 동작을 물체에 가할 수 있는 힘과 토크로 표현하여, 유발되는 순간 운동으로 유사도를 측정할 수 있게 한다. 이 안내는 접촉이 많은 능숙한 조작에서 강화학습을 더 확장 가능하게 만든다. 또한 모션 캡처 데이터셋과 자체 촬영 영상을 복원하여 구성한, 4,739개의 양손 능숙 조작 과제로 이루어진 대규모 시뮬레이션 벤치마크를 소개한다. 1,831개의 벤치마크 과제에서 평가한 결과 CHORD는 평균 성공률 82.12%를 달성하여 강한 확장성을 보였다. CHORD는 또한 손만 있는 시연과 3인칭 시연으로부터 전신 조작으로 일반화하여 90.77%의 성공률을 달성하며, 학습된 정책은 개루프 및 폐루프 설정 모두에서 실제 세계로 전이된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.