Safe Real-World Autonomous Driving by Learning to Predict and Plan with a Mixture of Experts
원문 초록
The goal of autonomous vehicles is to navigate public roads safely and comfortably. To enforce safety, traditional planning approaches rely on handcrafted rules to generate trajectories. Machine learning-based systems, on the other hand, scale with data and are able to learn more complex behaviors. However, they often ignore that agents and self-driving vehicle trajectory distributions can be leveraged to improve safety. In this paper, we propose modeling a distribution over multiple future trajectories for both the self-driving vehicle and other road agents, using a unified neural network architecture for prediction and planning. During inference, we select the planning trajectory that minimizes a cost taking into account safety and the predicted probabilities. Our approach does not depend on any rule-based planners for trajectory generation or optimization, improves with more training data and is simple to implement. We extensively evaluate our method through a realistic simulator and show that the predicted trajectory distribution corresponds to different driving profiles. We also successfully deploy it on a self-driving vehicle on urban public roads, confirming that it drives safely without compromising comfort. The code for training and testing our model on a public prediction dataset and the video of the road test are available at https://woven.mobi/safepathnet
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM
ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination
피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM
SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측
SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집
TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving
도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.
날씨-콘텐츠 결합 해소: 올인원 적외선 복원을 위한 유형-심각도 가이드 점진적 분리
Breaking Weather-Content Coupling: Type-Severity Guided Progressive Disentanglement for All-in-One Infrared Restoration
적외선(IR) 영상은 자율주행, 원격 탐사 및 기타 지각(perception) 과제에 필수적이다. 그러나 악천후는 실제 열 구조와 얽힌 가짜 구조적 응답을 유발할 수 있다. 기존 IR 복원 방법은 대개 단일 열화(degradation) 유형용으로 설계되거나, 열화가 얽힌 표현에서 직접 재구성한다. 그 결과 내재적 열 구조와 날씨로 인한 가짜 응답을 구분하기 어렵고, 공간적으로 변하는 열화 심각도(severity)에도 대응하기 힘들어 아티팩트가 생기거나 약하지만 의미 있는 열 응답이 과도하게 억제된다. 이를 해결하기 위해, 복원 가이던스를 과제 수준의 날씨 의미론과 영역 수준의 열화 심각도로 분해하는 올인원 적외선 복원용 유형-심각도 가이드 점진적 분리 네트워크 TSGPD-IR을 제안한다. 구체적으로, Weather and Semantic Co-Guided Multi-Level Prompt Generation Module은 전역 날씨 의미론과 단계별 지역 특징을 결합해 적응형 프롬프트를 생성하고, 열화 유발 응답을 점진적으로 억제하면서 내재적 열 구조를 보존한다. 전역 날씨 의미론을 공간적 복원 제어와 보완하기 위해, Proxy-Supervised Regional Degradation Estimator는 수동 주석 없이 심각도 지도(supervision)를 도출하고 공간적으로 변하는 열화 사전(prior)을 예측한다. 이러한 단서에 따라 Multi-Source Collaborative Expert Selection Strategy는 공유 분기로 날씨 불변 열 구조를 보존하고, 계층적 라우팅으로 날씨별 전문가 풀과 심각도에 맞는 지역 전문가를 선택한다. 이 설계는 열화 간섭을 진짜 열 콘텐츠와 점진적으로 분리하고 영역 적응형 복원을 가능하게 하여 잔여 아티팩트와 과억제를 모두 줄인다.
Teach-to-Crash: 충돌 유발 테스트 시나리오 생성을 위한 폐루프 학생-교사 LLM 프레임워크
Teach-to-Crash: A Closed-Loop Student-Teacher LLM Framework for Collision-Inducing Test Scenario Generation
시뮬레이션에서 자율주행 시스템(ADS)을 검증하려면, 희귀하고 안전에 중요한(safety-critical) 실패를 발견하면서 실행 가능하고 다양하며 후속 실패 분석에 유용한 시나리오를 생성할 수 있는 테스트 아키텍처가 필요하다. 본 논문은 제약된 ego 중심 시나리오 표현, 정체(stagnation) 인식 검색 제어, 적응형 실패 탐색을 위한 이중 LLM 아키텍처를 결합한 폐루프 테스트 프레임워크 Teach-to-Crash를 제안한다. 고추론 Teacher LLM은 적응형 검색 제어기 역할을 하고, 저추론 Student LLM은 엄격한 JSON 스키마로 시뮬레이터에서 실행 가능한 시나리오를 출력한다. Teacher는 rolling collision rate와 time-to-collision 지표가 정체될 때만 개입하여 검색을 재방향할 전략적 지침을 제공한다. ego 차량의 속도 정책을 달리한 두 실험 설정으로 수행한 CARLA 사례 연구에서 Teach-to-Crash는 최고 Collision Hit Rate(90.79%), 최단 평균 Time-to-Collision(18.31 s), 경쟁력 있는 Collision Discovery Rate(136.21)를 달성했다. PAFOT은 더 높은 평균 CDR(179.44)을 기록했으나 분산이 훨씬 컸다. Teach-to-Crash는 또한 최고 다양성(0.547)과, CARLA Traffic Manager 컨트롤러 기준 두 설정을 평균했을 때 비교 방법 중 avoidability 기반 유용성 proxy가 가장 높았다(60.04%). 평가된 CARLA 범위 내에서 이러한 결과는, 폐루프 이중 LLM 추론이 제약된 실행 가능 프로그램 공간 위에서 적대적 시뮬레이션 기반 테스트를 조향하여 빈번하고 구조적으로 다양하며 더 자주 회피 가능한 것으로 평가되는 실패를 생성할 수 있음을 보여 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.