arXiv:2306.03810

X-Align++: cross-modal cross-view alignment for Bird's-eye-view segmentation

Shubhankar Borse, Senthil Yogamani, Marvin Klingner, Varun Ravi, Hong Cai, Abdulaziz Almuzairee, Fatih Porikli

제출 2023-06-06

원문 초록

Bird's-eye-view (BEV) grid is a typical representation of the perception of road components, e.g., drivable area, in autonomous driving. Most existing approaches rely on cameras only to perform segmentation in BEV space, which is fundamentally constrained by the absence of reliable depth information. The latest works leverage both camera and LiDAR modalities but suboptimally fuse their features using simple, concatenation-based mechanisms. In this paper, we address these problems by enhancing the alignment of the unimodal features in order to aid feature fusion, as well as enhancing the alignment between the cameras' perspective view (PV) and BEV representations. We propose X-Align, a novel end-to-end cross-modal and cross-view learning framework for BEV segmentation consisting of the following components: (i) a novel Cross-Modal Feature Alignment (X-FA) loss, (ii) an attention-based Cross-Modal Feature Fusion (X-FF) module to align multi-modal BEV features implicitly, and (iii) an auxiliary PV segmentation branch with Cross-View Segmentation Alignment (X-SA) losses to improve the PV-to-BEV transformation. We evaluate our proposed method across two commonly used benchmark datasets, i.e., nuScenes and KITTI-360. Notably, X-Align significantly outperforms the state-of-the-art by 3 absolute mIoU points on nuScenes. We also provide extensive ablation studies to demonstrate the effectiveness of the individual components.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19781v1cs.CV공통 태그 Segmentation, Autonomous Driving

WASABI: 프레임 간 추적 기반 차선 토폴로지 전 그래프 할당 안정화

WASABI: Whole-graph Assignment-based Stabilizer for lAne topology By Inter-frame tracking

자율주행은 교차로를 통과하는 경로를 따르고 교차·합류 교통에 대해 추론하기 위해, 자차 차선만이 아니라 주행 가능한 차선과 그 연결성을 그래프로 이해해야 한다. 최근 지각(perception) 모델은 온보드 센서로 360도 BEV(bird's-eye view) 시야에서 이러한 차선 토폴로지, 즉 차선 세그먼트와 차선 간 연결성(LCLC)을 추론한다. 신경망 지각의 불완전성으로 인해, 그 출력에는 미검출, LCLC 손실 또는 오류, 과검출, 레이블 깜빡임(label flicker)과 같은 구조적 불안정성이 남아 있다. 본 논문은 WASABI를 제안한다. WASABI는 차선 세그먼트와 LCLC 연결성을 공동 추적 대상으로 취급하여 프레임 내·프레임 간 차선 토폴로지 출력을 안정화하는 실시간 후처리 파이프라인으로, 온보드 실시간 제약(10 Hz / 20 ms / 최대 200개 입력 차선) 하에서 동작한다. 이 파이프라인은 세그먼트 추적과 연결성 통합, 노이즈에 강건한 토폴로지 인식 정제, 자원 제약형 실시간 설계를 결합한다. 내부 검증 데이터(16 시퀀스)에서 WASABI는 LCLC 검출 F1을 0.834에서 0.948(+0.114, +13.6%)로 향상시키고, 중심선 횡방향 오차를 2.50 m에서 0.95 m로 줄이며, 검출 false-positive를 24.6% 감소시킨다. 동일 데이터에 대한 시간적 안정성 지표는 LCLC 토글 비율이 63.3%, 경계 레이블 깜빡임 비율이 30.2% 감소했음을 보여주며, 프레임 단위 정확도를 넘어 프레임 간 안정화가 이루어졌음을 확인한다.

arXiv:2607.14710v1cs.CV공통 태그 Autonomous Driving, BEV Segmentation

자율주행에서 조강도(BEV) 세그멘테이션을 위한 변분 추론

Variational Inference for Bird's Eye View Segmentation in Autonomous Driving

조강도(BEV)는 자율주행에서 환경 인식을 위한 핵심 접근법으로 부상했으며, 차량을 위한 통합된 공간 표현을 제공한다. 그럼에도 불구하고 BEV가 자율주행 고유의 과제를 해결하는 데 중요함에도, 다중 카메라 센서로부터의 데이터를 효과적으로 융합하고 복잡한 외부 주행 환경에서 동작하는 것은 여전히 상당한 난제로 남아 있다. 이 문제를 완화하기 위해, 우리는 BEV 세그멘테이션 문제를 변분 추론 프레임워크 안에서 재구성한다. 본 논문에서는 BEV 세그멘테이션을 위한 새로운 트랜스포머 기반 변분 flow 변환 네트워크를 제안하며, 이를 TVB라고 부른다. 우리 아키텍처는 사후 BEV 감독을 활용하여 학습 동안 다중 카메라 뷰에서 통합된 표준(canonical) BEV 맵으로의 매핑을 암묵적으로 학습한다. TVB는 조건부 변분 오토인코더(CVAE)를 백본으로 사용하며 다수의 BEV 맵 후보를 생성한다. 생성된 BEV 맵의 현실성을 높이기 위해, 맵 생성 과정에 정규화 흐름(normalizing flow)을 통합하여 더 복잡하고 표현력 있는 확률 분포를 구성할 수 있게 한다. 또한, 어텐션 메커니즘을 활용하여 다수의 BEV 맵 후보를 적응적으로 통합하는 BEV-어텐션 융합(BAF) 모듈을 설계한다. nuScenes와 OPV2V 데이터셋 모두에서 평가한 실험 결과는, 제안 방법이 다중 카메라 뷰 BEV 세그멘테이션과 차선 환경 인식에서 우수한 성능을 달성함을 보여준다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.