ReactBench-AD: 주행용 비전-언어-행동 모델과 월드-행동 모델은 경로상의 임박한 위험에 반응하는가?
ReactBench-AD: Do Driving VLAs and World-Action Models React to Imminent Hazards in Their Path?
한국어 초록
비전-언어-행동 모델(VLA)과 월드-액션 모델(WAM)은 롱테일 시나리오에 대한 강력한 일반화를 기대하게 하며 자율주행 분야에 등장했다. 이들 모델은 자율주행 벤치마크에서 최고 수준의 결과를 달성하지만, 기존 벤치마크 대부분은 정상 시나리오가 지배적이어서 이러한 기대를 검증할 수 없다. 안전에 핵심적인 롱테일 능력 중 하나를 검증하기 위해, 우리는 자차의 경로에 나타나는 객체에 주행 모델이 어떻게 반응하는지를 측정하는 벤치마크 ReactBench-AD를 소개한다. 실제 NAVSIM 및 PhysicalAI-Autonomous-Vehicles 장면을 기반으로 하는 ReactBench-AD는 횡단하는 보행자, 서 있는 보행자 또는 정차한 차량을 모든 카메라 시점과 과거 프레임에 걸쳐 일관되게 합성한다. 따라서 편집된 각 장면은 원본과 정확한 픽셀 수준의 반사실적 쌍을 이루며, 이를 통해 삽입된 객체가 예측 궤적에 미치는 인과적 효과를 분리할 수 있다. 네 개의 VLA와 두 개의 WAM을 평가한 결과, 이들은 약하게 반응하며 거의 반응하지 않는 경우도 많음을 발견했다. 마지막으로, 평가한 VLA 중 하나인 ReCogDrive가 임박한 위험에 급제동하도록 얼마나 쉽게 학습될 수 있는지를 시험한다. 편집된 장면에 대한 짧은 미세 조정 단계만으로 반응이 크게 개선되며, 학습된 행동은 보지 못한 객체와 완전한 실제 장면으로 일반화되고 정상 주행에 대한 비용은 미미하다. 이러한 결과는 이들 모델의 기본 상태에서의 롱테일 능력에 의문을 제기하지만, 적은 추가 학습으로 그 능력을 습득하는 강력한 기반이 될 수 있음을 시사하며, 정상 데이터셋에는 드물게 포함된 롱테일 행동을 보여 주는 실제 또는 합성 데이터의 가치를 부각한다.
원문 초록
Vision-Language-Action models (VLAs) and World-Action Models (WAMs) have emerged in autonomous driving with the promise of strong generalization to long-tail scenarios. Although these models achieve state-of-the-art results on autonomous driving benchmarks, most existing benchmarks are dominated by nominal scenarios and therefore cannot test this promise. To test one such long-tail capability that is critical for safety, we introduce ReactBench-AD, a benchmark that measures how driving models react to objects that appear in the ego vehicle's path. Built on real NAVSIM and PhysicalAI-Autonomous-Vehicles scenes, ReactBench-AD composites a crossing pedestrian, a standing pedestrian, or a stationary car consistently across all camera views and history frames. Each edited scene thus forms an exact, pixel-level counterfactual pair with its original, which allows us to isolate the causal effect of the inserted object on the predicted trajectory. Evaluating four VLAs and two WAMs, we find that they react weakly, often barely at all. Finally, we test how easily one of the evaluated VLAs, ReCogDrive, can be taught to brake hard for imminent hazards: a short fine-tuning stage on edited scenes substantially improves its reactions, with the learned behavior generalizing to unseen objects and fully real scenes, at minimal cost to nominal driving. These results call into question the out-of-the-box long-tail capabilities of these models, but suggest that they can be a strong foundation for acquiring them with little additional training, highlighting the value of real or synthetic data that demonstrates the long-tail behaviors nominal datasets rarely contain.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20011v2제출 시각 미확인
- arXiv:2611.20011v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.