FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection
원문 초록
Multi-sensor modal fusion has demonstrated strong advantages in 3D object detection tasks. However, existing methods that fuse multi-modal features require transforming features into the bird's eye view space and may lose certain information on Z-axis, thus leading to inferior performance. To this end, we propose a novel end-to-end multi-modal fusion transformer-based framework, dubbed FusionFormer, that incorporates deformable attention and residual structures within the fusion encoding module. Specifically, by developing a uniform sampling strategy, our method can easily sample from 2D image and 3D voxel features spontaneously, thus exploiting flexible adaptability and avoiding explicit transformation to the bird's eye view space during the feature concatenation process. We further implement a residual structure in our feature encoder to ensure the model's robustness in case of missing an input modality. Through extensive experiments on a popular autonomous driving benchmark dataset, nuScenes, our method achieves state-of-the-art single model performance of 72.6% mAP and 75.1% NDS in the 3D object detection task without test time augmentation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
STAR: 엔드투엔드 인지 레이더를 향한 장면 및 태스크 인지형 4D 레이더 전처리
STAR: Scene- and Task-Aware 4D Radar Preprocessing Towards End-to-End Cognitive Radar
4차원(4D) 레이더(Radar)는 조도 변화와 악천후 조건에서도 견고함을 유지하면서 거리, 방위각, 고각 및 도플러 측정값을 제공하여 환경 인식을 위한 핵심 센서로 부상했습니다. 그러나 일정한 오경보율(CFAR) 검출과 같은 기존의 레이더 전처리 방식은 주로 신호 수준의 기준에 따라 측정값을 선택하므로, 포인트 클라우드 생성 과정에서 다운스트림 인식에 유용한 정보를 폐기할 수 있습니다. 또한 기존의 4D 레이더 인식 파이프라인은 일반적으로 레이더 데이터 처리와 다운스트림 인식을 독립적으로 최적화하므로, 태스크 목표가 전처리 단계를 직접적으로 유도하지 못합니다. 이러한 한계를 해결하기 위해 본 논문에서는 엔드투엔드 학습(training) 프레임워크와 함께 장면 및 태스크 인지형 레이더(STAR) 전처리기를 제안합니다. STAR 전처리기는 장면 컨텍스트와 다운스트림 태스크 목표를 통합하여 태스크 관련 레이더 포인트를 생성함으로써, 레이더 표현이 인식에 맞춰 직접 최적화될 수 있도록 합니다. K-Radar 벤치마크에서 제안하는 방식은 74.3 AP를 달성하여 이전 최고 수준(SOTA)보다 5.6 AP 포인트 앞서는 성능을 보였습니다. 나아가 STAR로 생성된 태스크 관련 포인트를 다양한 기존 3D 검출기에 적용했을 때 대부분의 평가 설정에서 검출 성능이 향상되었으며, 기존 전처리로 생성된 포인트 클라우드 대비 전반적으로 긍정적인 평균 이득을 얻었습니다.
Snow Removal for LiDAR Point Clouds with Spatio-temporal Conditional Random Fields
RCFusion: Fusing 4-D Radar and Camera With Bird’s-Eye View Features for 3-D Object Detection
Real-time Collision Risk Estimation based on Stochastic Reachability Spaces
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
토론
이 논문과 연결된 포럼 글이 아직 없습니다.