DRIFT: 런타임 유연성과 효율성을 갖춘 종단간 주행을 위한 분리 가능한 추론
DRIFT: Detachable Reasoning for Runtime-Flexible and Efficient End-to-End Driving
한국어 초록
시각-언어 모델(VLM)을 종단간(E2E) 자율주행에 통합하는 것은 장면 설명과 추론 능력을 제공함으로써 강력한 잠재력을 보여 왔다. 그러나 VLM은 계산 비용이 크며, 폐루프 성능을 해치지 않으면서 런타임에 언어 추론을 켜고 끄는 방법은 아직 입증되지 않아 실용적 도입을 가로막고 있다. 이러한 문제를 해결하기 위해 시각 질의응답과 행동 해설을 위한 경량 언어 모델(LM)을 통합한 E2E 자율주행 프레임워크 DRIFT를 제안한다. 중간 주행 표현을 언어 임베딩 공간으로 효율적으로 투영함으로써, 소형 LM(<150M 파라미터)이 강력한 장면 설명과 행동 해설을 달성할 수 있음을 보인다. 또한 LM으로부터 증류한 대리 추론 특징으로 학습되며 추론 시 LM 또는 대리 추론 특징 중 어느 쪽에도 조건화될 수 있는 런타임 유연 계획 모듈을 도입한다. 이 설계는 배포 제약이 요구할 때 주행 성능을 희생하지 않고 LM을 완전히 우회할 수 있게 한다. DRIFT는 255M 파라미터만으로, 선택한 추론 비율에 따라 LM과 대리 추론을 교차 사용하여 Bench2Drive에서 최대 97.03의 주행 점수(DS)와 89.39%의 성공률(세 번 실행의 평균)에 도달한다. 이는 가장 강력한 비언어 모델과 대등하면서도 기존 VLM 기반 모델보다 훨씬 소형이다. DRIFT는 또한 실제 환경 기반의 NAVSIM 및 AlpaSim 벤치마크에서 기존 VLM 기반 접근법보다 훨씬 낮은 계산 비용으로 경쟁력 있는 결과를 달성한다. 프로젝트 페이지: https://drift-e2e.github.io/
원문 초록
The integration of vision-language models (VLMs) into end-to-end (E2E) autonomous driving has demonstrated strong potential by providing scene description and reasoning capabilities. However, VLMs are computationally expensive, and switching language reasoning on and off at runtime without hurting closed-loop performance has not been demonstrated, which hinders practical adoption. To address these issues, we propose DRIFT, an E2E autonomous driving framework that integrates a lightweight language model (LM) for visual question answering and action commentary. By efficiently projecting intermediate driving representations into the language embedding space, we demonstrate that a compact LM (<150M parameters) can achieve strong scene description and action commentary. Furthermore, we introduce a runtime-flexible planning module that is trained on surrogate reasoning features distilled from the LM and can be conditioned on either the LM or the surrogate reasoning features at inference. This design enables bypassing the LM entirely when required by deployment constraints, without sacrificing driving performance. With only 255M parameters, DRIFT reaches up to a Driving Score (DS) of 97.03 and a Success Rate of 89.39% (mean over three runs) on Bench2Drive by interleaving its LM and surrogate reasoning at a chosen reasoning rate. This is on par with the strongest non-language models while being far more compact than existing VLM-based models. DRIFT further achieves competitive results on the real-world NAVSIM and AlpaSim benchmarks at significantly lower computational cost than existing VLM-based approaches. Project page: https://drift-e2e.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24719v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.