행동 전 지시: 자율주행 비전-언어-행동 데이터의 사전·사후 언어 지도
Instructions Before Actions: Prospective and Retrospective Language Supervision for Driving Vision-Language-Action Data
한국어 초록
주행용 비전-언어-행동(VLA) 모델은 길 안내 지시를 입력받을 수 있다. 그러나 운전자의 궤적을 예측한다는 사실만으로 모델이 지시를 따른다고 볼 수는 없다. 본 연구는 행동 전에 전달한 사전 지시와 행동을 관찰한 뒤 작성한 사후 레이블을 구분해, 주행 언어 지도 신호를 수집하고 평가하는 방식을 살핀다. 음성 지시, 도로 영상, 차량 궤적을 동기화하는 ADVLAT-Engine을 개발했고, 주행 경로 48개를 재생해 내비게이션 앱 세 개를 비교했다. Google Maps와 동승자가 모두 안내한 주행 동작 87개에서 동승자는 도로 장면에 더 의존하는 표현을 썼다. 공개 주행 VLA 네 개를 내비게이션 앱의 사전 지시가 포함된 주행 데이터로 미세조정하기 전후에 평가했다. 미세조정으로 동승자가 지시한 주행의 궤적 오차는 23~59% 줄었으나 지시의 효과는 일관되지 않았다. 실제 교차로에서 반사실적 지시를 사용했을 때는 지시에 더 민감하게 반응했다. 미세조정한 Alpamayo 2 Super의 정확도는 15m와 5m에서 각각 31포인트와 18포인트 높아졌다. Qwen-Drive는 문장보다 이산 명령으로 지시했을 때 대안 동작을 더 잘 따랐다. 주행 기록을 보고 네 명이 작성한 사후 주석도 수집했다. 주석의 내용과 시점, 후속 학습을 통제해 비교하는 방법을 설명했으며 분석은 진행 전이다. 결과는 주행 동작 예측과 지시 따르기를 구분하고 사전·사후 지도 신호를 비교할 틀을 제공한다.
원문 초록
Driving vision-language-action (VLA) models can accept navigation instructions, yet predicting a driver's trajectory does not establish that a model follows the instruction. We study how driving-language supervision is collected and evaluated, distinguishing prospective instructions issued before an action from retrospective labels written after observing it. We develop ADVLAT-Engine to synchronize spoken instructions, road-scene video, and vehicle trajectories, and compare three navigation apps on 48 replayed routes. On 87 maneuvers announced by both Google Maps and a passenger, the passenger uses more scene-dependent language. We evaluate four open driving VLAs before and after fine-tuning on prospective navigation-app drives. Fine-tuning reduces passenger-drive trajectory error by 23-59%, but instruction effects remain inconsistent. At real intersections, counterfactual instructions reveal stronger responsiveness: fine-tuned Alpamayo~2 Super gains 31 and 18 accuracy points at 15 and 5~m, while Qwen-Drive follows alternative maneuvers more reliably with a discrete command than with a sentence. We additionally collected retrospective annotations from four people for the driving recordings and describe controlled comparisons of annotation content, timing, and downstream learning; those analyses are pending. Our findings separate maneuver prediction from instruction-following and establish a framework for comparing prospective and retrospective supervision.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.