arXiv:2409.02676

Improved Single Camera BEV Perception Using Multi-Camera Training

Daniel Busch, Ido Freeman, Richard Meyes, Tobias Meisen

제출 2024-09-04

원문 초록

Bird's Eye View (BEV) map prediction is essential for downstream autonomous driving tasks like trajectory prediction. In the past, this was accomplished through the use of a sophisticated sensor configuration that captured a surround view from multiple cameras. However, in large-scale production, cost efficiency is an optimization goal, so that using fewer cameras becomes more relevant. But the consequence of fewer input images correlates with a performance drop. This raises the problem of developing a BEV perception model that provides a sufficient performance on a low-cost sensor setup. Although, primarily relevant for inference time on production cars, this cost restriction is less problematic on a test vehicle during training. Therefore, the objective of our approach is to reduce the aforementioned performance drop as much as possible using a modern multi-camera surround view model reduced for single-camera inference. The approach includes three features, a modern masking technique, a cyclic Learning Rate (LR) schedule, and a feature reconstruction loss for supervising the transition from six-camera inputs to one-camera input during training. Our method outperforms versions trained strictly with one camera or strictly with six-camera surround view for single-camera inference resulting in reduced hallucination and better quality of the BEV map.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39888v2cs.LG공통 태그 Autonomous Driving, Trajectory Prediction

마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정

Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds

신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.

arXiv:2610.01905v1cs.CV공통 태그 Autonomous Driving, Trajectory Prediction

MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축

MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens

온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.

arXiv:2609.24452v1cs.CV공통 태그 Autonomous Driving, Hallucination

LiDAR 언어 모델은 정말로 시공간적 관계를 이해하는가?

Do LiDAR Language Models Really Understand Spatio-temporal Relationships?

최근의 4D LiDAR 언어 모델들은 객체와 그 객체들 사이의 변화하는 공간적 관계를 추론하는 것을 목표로 한다. 그러나 본 연구의 평가에서, 항상 동일한 선택지를 고르는 것만으로도 두 가지 B4DL 기반 구성의 객관식 정확도에 거의 근접하는 것으로 나타났다. 우리는 150개의 nuScenes 장면에 걸친 10,000개의 질문으로 구성된, 기하학 정보를 참조하는 벤치마크이자 진단 프로토콜인 LiDAR-Hallu를 제안한다. 이 벤치마크는 객체 존재 여부, 자기 중심적(ego-relative) 위치, 거리 순서, 상대적 움직임, 시간적 위치 추정을 다루며, 객체 선택, 시간 비교, 참조 정답 결정에 대한 명시적인 규칙을 포함한다. 우리의 프로토콜은 고정 정답 및 후보 내용 통제, 동일한 프롬프트이지만 정반대의 참조 정답을 갖는 장면 간(cross-scene) 쌍, 그리고 관계별 재현율을 결합한다. 100,000개의 기록된 응답에 대한 분석은 종합 정확도에 가려져 있던 실패들을 드러낸다. 후보 지속 시간만으로도 LiDAR를 관찰하지 않고서 시간 관련 답을 예측할 수 있다. 쌍을 이룬 질문들에서, 모델들은 정반대의 답을 요구하는 장면들에 대해 동일한 답을 내놓는 경우가 빈번했다. 관계별 분석은 나아가 두 구성 모두 테스트된 모든 조건에서 긍정적인 측면 이동(lateral-motion) 사례를 전부 놓친다는 것을 보여준다. 시간 셔플(temporal-shuffle) 대조 디코딩은 실질적인 개선을 거의 제공하지 못하는데, 이는 수정된 부분이 새로운 오류에 의해 대부분 상쇄되고 주요 실패들이 그대로 유지되기 때문이다. 이러한 결과는 시공간적 추론을 평가하려면 개별 답변 정확도에만 의존하기보다는 모델이 질의된 물리적 관계를 실제로 구별하는지를 테스트해야 함을 보여준다. 소스 코드, 체크포인트, 데이터는 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench 에서 공개된다.

arXiv:2607.14727v1cs.CV공통 태그 Autonomous Driving, Trajectory Prediction

WorkDrive: 자율주행을 위한 도로 공사 인과 연쇄(Chain of Causation)

WorkDrive: Roadwork Chain of Causation for Autonomous Driving

자율주행 비전-언어 모델(VLM)은 도로 공사 구역에서 어려움을 겪는다. 차선 표시와 고정 표지판 같은 친숙한 시각적 단서가 변경되거나 사라지고, 콘과 차단막 같은 임시 장치가 주행 가능한 통로를 재정의하기 때문이다. VLM은 이러한 객체를 탐지할 수 있지만, 명시적 지도 없이는 사전학습에서 익숙한 요소에 추론을 고정하고, 공사 구역 관찰을 올바른 경로 계획 결정과 연결하지 못한다. 우리는 WorkDrive를 제안한다. 이는 공사 구역에 대한 지각 기반(grained) 인과 추론을 구성하고 궤적 예측과 정렬하는 프레임워크이다. 자동화된 다중 작업 지각 파이프라인이 구조화된 장면 사실을 추출하여 Chain-of-Causation(CoC) 어노테이션 파이프라인에 주입하고, 어노테이터의 어텐션을 도메인 특화 요소로 재지향한다. 이렇게 생성된 추론 라벨은 지도 미세조정에 사용되며, 이어서 횡방향 메타 행동과 예측 궤적 간의 일관성이라는 단일 보상을 사용한 강화학습이 수행된다. 최대 규모의 공개 공사 구역 데이터셋인 ROADWork에서, 제안된 도로 공사 CoC는 궤적 평균 변위 오류(ADE)를 9.0% 감소시키고, 일관성 기반 GRPO는 추가로 3.0% 개선하여 궤적 전용 기준선 대비 점진적 향상을 달성한다. 코드와 데이터는 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.