arXiv:2609.00111v1 cs.CV

Qwen-Drive-1.0: 자율 주행을 위한 비전-언어 기초 모델을 향한 첫걸음

Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

Xin Zhou, Zongchuang Zhao, Zhibo Yang, Mingsheng Li, Humen Zhong, Shuai Bai, Du Chu, Ruizhe Chen, Zhaohai Li, Jun Tang, Qiuyue Wang, Mingkun Yang, Jiazhao Zhang, Dayiheng Liu, Dingkang Liang 외 1명

제출 2026-08-31

한국어 초록

본 논문은 자율 주행을 위한 비전-언어 기초 모델을 향한 초기 단계인 Qwen-Drive-1.0을 제시한다. Qwen-Drive-1.0은 사전학습된 비전-언어 모델(VLM)의 아키텍처를 유지한 채 3D 인식, 시각적 질의응답(visual question answering), 모션 플래닝(motion planning)을 하나의 통합 프레임워크에 결합한다. 외부 조감도(bird's-eye-view, BEV) 인식 헤드는 3D 객체 검출, 의미 점유(semantic occupancy) 예측, BEV 맵 분할을 공동으로 수행한다. 이 헤드는 공유 표현에서 접근 가능한 3D 정보를 탐지하는 프로브(probe) 역할을 하며, 3D 장면 구조에 대한 명시적이고 검사 가능한 인터페이스를 제공한다. Planning Expert는 공유 VLM 표현을 조건으로 미래 ego 궤적을 생성한다. 단계적 학습 절차는 운전 감독 신호와 범용 비전-언어 데이터를 결합하여 운전 특화 역량을 습득하면서, 폭넓은 시각 이해와 인스트럭션 따르기(instruction-following) 능력을 보존하는 데 기여한다. 실험 결과, 강한 3D 인식과 운전 장면 이해를 보이면서도 일반적인 비전-언어 역량을 대체로 유지함을 보여 준다. 개방 루프(open-loop), 의사 폐쇄 루프(pseudo-closed-loop), 폐쇄 루프(closed-loop) 설정에 걸친 종합 평가는 또한 매우 경쟁력 있는 모션 플래닝 성능을 나타낸다.

원문 초록

We present Qwen-Drive-1.0, an initial step towards a vision-language foundation model for autonomous driving. Qwen-Drive-1.0 retains the architecture of the pretrained vision-language model (VLM) and integrates 3D perception, visual question answering, and motion planning within a unified framework. An external bird's-eye-view (BEV) perception head jointly performs 3D object detection, semantic occupancy prediction, and BEV map segmentation. It serves as a probe of the 3D information accessible from the shared representations and provides an explicit, inspectable interface to 3D scene structure. A Planning Expert conditions on shared VLM representations to generate future ego trajectories. A staged training recipe combines driving supervision with general-purpose vision-language data to acquire driving-specific competence while helping preserve broad visual understanding and instruction-following capabilities. Experiments demonstrate strong 3D perception and driving scene understanding while largely preserving general vision-language capability. Comprehensive evaluations across open-loop, pseudo-closed-loop, and closed-loop settings further show highly competitive motion-planning performance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00111v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.