Multi-Camera Calibration Free BEV Representation for 3D Object Detection
원문 초록
In advanced paradigms of autonomous driving, learning Bird's Eye View (BEV) representation from surrounding views is crucial for multi-task framework. However, existing methods based on depth estimation or camera-driven attention are not stable to obtain transformation under noisy camera parameters, mainly with two challenges, accurate depth prediction and calibration. In this work, we present a completely Multi-Camera Calibration Free Transformer (CFT) for robust BEV representation, which focuses on exploring implicit mapping, not relied on camera intrinsics and extrinsics. To guide better feature learning from image views to BEV, CFT mines potential 3D information in BEV via our designed position-aware enhancement (PA). Instead of camera-driven point-wise or global transformation, for interaction within more effective region and lower computation cost, we propose a view-aware attention which also reduces redundant computation and promotes converge. CFT achieves 49.7% NDS on the nuScenes detection task leaderboard, which is the first work removing camera parameters, comparable to other geometry-guided methods. Without temporal input and other modal information, CFT achieves second highest performance with a smaller image input 1600 * 640. Thanks to view-attention variant, CFT reduces memory and transformer FLOPs for vanilla attention by about 12% and 60%, respectively, with improved NDS by 1.0%. Moreover, its natural robustness to noisy camera parameters makes CFT more competitive.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RECO: 도로변 3D 검출에서 외부 파라미터 섭동에 대한 영역 인식 보정
RECO: Region-Aware Compensation for Extrinsic Perturbations in Roadside 3D Detection
지능형 교통 시스템에서 도로변 3D 객체 검출은 교통 이해, 협력형 조기 경보, 안전한 자율주행에 필수적인 넓은 영역 인식을 제공한다. 그러나 기존 방법들은 카메라 외부 파라미터(extrinsic)에 대한 높은 민감도로 인한 문제가 있다. 일시적인 지터(jitter)나 지속적인 드리프트(drift)로 나타나는 미세한 편차조차 투영 기하학에 의해 크게 증폭될 수 있다. 이러한 연쇄 효과는 심각한 특징 불일치와 저하된 위치 추정을 초래한다. 이 한계를 완화하기 위해, 우리는 조각별 6-DoF 자세 오프셋을 사용하여 외부 파라미터를 보정하는 영역 인식 외부 파라미터 보정 프레임워크인 RECO를 제안한다. RECO는 학습 가능한 거리 경계를 예측하여 장면을 근거리와 원거리 영역으로 분할하고, 영역별 자세 보정을 추정한다. 미분 가능한 시그모이드 게이트가 두 보정된 기하를 부드럽게 혼합하여 연속적인 BEV 샘플링을 유지하고 안정적인 최적화를 촉진한다. 외부 파라미터 정제를 지도하기 위해, 3D ground truth에서 투영된 2D 바운딩 박스와 2D 어노테이션을 비교하는 보조 재투영 손실을 도입하고, 이를 표준 검출 목적 함수와 함께 공동 최적화한다. 외부 파라미터 섭동 하에서 DAIR-V2X-I 및 Rope3D 벤치마크에 대한 광범위한 실험은 yaw 및 $z$축 편차 모두에서 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. RECO는 일시적 섭동에서 지속적 이동으로도 일반화되며, 엄격한 보정(calibration) 불확실성 하에서도 매우 경쟁력 있는 성능을 유지한다.
DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection
페이퍼 제목과 초록을 번역 규칙에 맞춰 정리했습니다. {"title_ko": "DeGuNet: 효율적인 LiDAR-카메라 3D 객체 검출을 위한 깊이 유도 초경량 백본", "abstract_ko": "자율주행 인식에서 LiDAR와 카메라 모달리티의 융합은 3D 객체 검출의 지배적인 패러다임이 되었다. 그러나 현재의 다중 모달리티 프레임워크는 2D 의미론적 태스크로 사전학습된 대규모 시각 백본에 크게 의존한다. 이러한 의존은 상당한 매개변수 중복과 구조적 불일치를 초래하는데, 2D 사전지식(prior)은 Bird's-Eye-View(BEV) 기하학에 필요한 LiDAR 투영의 극심한 희소성을 다루기에 부적합하기 때문이다. 이를 해결하기 위해, 우리는 깊이 유도 표현 학습을 위해 명시적으로 설계된 초경량 및 플러그 앤 플레이(plug-and-play) 이미지 백본인 DeGuNet을 제안한다. 희소성 인식 특징 추출 메커니즘을 통합함으로써, DeGuNet은 다중 뷰 이미지를 비구조적 LiDAR 깊이와 효과적으로 정렬하면서 유효하지 않은 영역의 오염을 엄격히 방지한다. nuScenes 데이터셋에 대한 광범위한 실험은 DeGuNet의 폭넓은 플러그 앤 플레이 적용성과 우수한 효율성을 입증한다. 기존 베이스라인에 통합했을 때, DeGuNet은 구조적 중복을 근본적으로 제거하여 GPU 메모리 사용량을 최대 66.5% 줄이고 1.16배의 추론 속도 향상을 달성한다. 동시에 DeGuNet은 최대 6.20의 절대 mAP 향상을 제공하여, 매개변수 효율적인 다중 모달리티 3D 인식을 위한 새로운 패러다임을 제시한다."}
4DR360: 4D 레이더-카메라 전체 장면 인식에서 결합 3D 검출 및 점유 예측을 위한 상태 추론
4DR360: State Reasoning for Joint 3D Detection and Occupancy Prediction in 4D Radar-Camera Full-Scene Perception
신뢰할 수 있는 자율주행은 전경 객체와 밀집 의미론적 레이아웃을 결합하는 전체 장면 인식을 필요로 한다. 최근 4D 밀리미터파 레이더가 강건하고 저비용의 센서로 부상했지만, 희박한 반환값으로 인해 포괄적인 장면 이해를 위한 레이더-카메라 융합이 필요하다. 기존 레이더-카메라 방법은 주로 검출 최적화에 집중하는 반면, 듀얼 태스크 시스템은 제한된 상호작용으로 박스와 점유를 디코딩한다. 이러한 격차를 해소하고 레이더 기반 멀티태스크 학습을 발전시키기 위해, 우리는 의미론적 점유를 최종 출력이 아닌 지속적인 장면 상태로 모델링하는 360° 전체 장면 인식을 위한 4D 레이더-카메라 프레임워크인 4DR360을 제안한다. 4DR360은 크로스-모달 상태 추론 패러다임을 따르며, 점유 상태가 거친-세밀 특징 집계를 위해 단계별로 모델링되고 전파된다. 구체적으로, 상태 가이드 BEV 향상(SBE, State-guided BEV Enhancement)은 프레임 내 BEV 표현을 강화하고, 도플러 가이드 시간적 융합(DTF, Doppler-guided Temporal Fusion)은 더 긴 시간적 범위에 걸쳐 상태 증거를 보존한다. 모델 외에도, 위성 지도 기반으로 생성된 점유 레이블로 ManTruckScenes를 확장하고, 통합된 크로스-데이터셋 검출 및 점유 프로토콜에서 OmniHD-Scenes와 결합한다. 이를 통한 실험은 하나의 레이더-카메라 멀티태스크 평가 프레임워크 아래 정확도, 강건성, 절제 연구, 그리고 효율성을 다룬다. 코드와 레이블은 논문 채택 시 공개될 예정이다.
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리
Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection
라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
파편에서 글로벌 맵으로: 대규모 언어 모델을 활용한 벡터화 지도 통합 학습
From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models
대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.