arXiv:2411.12980

LaVida Drive: Vision-Text Interaction VLM for Autonomous Driving with Token Selection, Recovery and Enhancement

Siwen Jiao, Yangyi Fang, Baoyun Peng, Wangqun Chen, Bharadwaj Veeravalli

제출 2024-11-20

원문 초록

Recent advancements in Visual Language Models (VLMs) have made them crucial for visual question answering (VQA) in autonomous driving, enabling natural human-vehicle interactions. However, existing methods often struggle in dynamic driving environments, as they usually focus on static images or videos and rely on downsampling to manage computational costs. This results in the loss of critical details and the difficulty in effectively integrating spatial and temporal information, undermining fine-grained perception and temporal coherence essential for effective decision-making. To tackle these challenges, we introduce LaVida Drive, a novel and efficient VQA framework for autonomous driving. LaVida Drive seamlessly integrates temporal data while maintaining high-resolution inputs for detailed visual perception. It optimizes spatial processing by retaining high-resolution data for intricate details and using lower-resolution inputs for temporal analysis to focus on motion-related features, thereby boosting computational efficiency. The core of LaVida Drive consists of two modules: the \textit{Query-aware Token Selection} module and the \textit{Spatial-Temporal Token Recovery and Enhancement} module. The former dynamically selects the most relevant visual tokens based on semantic alignment with the input query, reducing the token count from high-resolution spatial input. The latter ensures smooth and coherent interactions between spatial and temporal information, preserving contextual continuity across frames. Extensive experiments on various autonomous driving question-answering benchmarks show that LaVida Drive significantly reduces visual tokens, enhances efficiency, and improves overall performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.16003v1cs.CL공통 태그 Question Answering, Computational Efficiency

PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론

PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.

arXiv:2610.01905v1cs.CV공통 태그 Autonomous Driving, Computational Efficiency

MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축

MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens

온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.