arXiv:2205.09373

Diversity Matters: Fully Exploiting Depth Clues for Reliable Monocular 3D Object Detection

Zhuoling Li, Zhan Qu, Yang Zhou, Jianzhuang Liu, Haoqian Wang, Lihui Jiang

제출 2022-05-19

원문 초록

As an inherently ill-posed problem, depth estimation from single images is the most challenging part of monocular 3D object detection (M3OD). Many existing methods rely on preconceived assumptions to bridge the missing spatial information in monocular images, and predict a sole depth value for every object of interest. However, these assumptions do not always hold in practical applications. To tackle this problem, we propose a depth solving system that fully explores the visual clues from the subtasks in M3OD and generates multiple estimations for the depth of each target. Since the depth estimations rely on different assumptions in essence, they present diverse distributions. Even if some assumptions collapse, the estimations established on the remaining assumptions are still reliable. In addition, we develop a depth selection and combination strategy. This strategy is able to remove abnormal estimations caused by collapsed assumptions, and adaptively combine the remaining estimations into a single one. In this way, our depth solving system becomes more precise and robust. Exploiting the clues from multiple subtasks of M3OD and without introducing any extra information, our method surpasses the current best method by more than 20% relatively on the Moderate level of test split in the KITTI 3D object detection benchmark, while still maintaining real-time efficiency.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12419v1cs.CV공통 태그 Depth Estimation, 3D Object Detection

DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection

페이퍼 제목과 초록을 번역 규칙에 맞춰 정리했습니다. {"title_ko": "DeGuNet: 효율적인 LiDAR-카메라 3D 객체 검출을 위한 깊이 유도 초경량 백본", "abstract_ko": "자율주행 인식에서 LiDAR와 카메라 모달리티의 융합은 3D 객체 검출의 지배적인 패러다임이 되었다. 그러나 현재의 다중 모달리티 프레임워크는 2D 의미론적 태스크로 사전학습된 대규모 시각 백본에 크게 의존한다. 이러한 의존은 상당한 매개변수 중복과 구조적 불일치를 초래하는데, 2D 사전지식(prior)은 Bird's-Eye-View(BEV) 기하학에 필요한 LiDAR 투영의 극심한 희소성을 다루기에 부적합하기 때문이다. 이를 해결하기 위해, 우리는 깊이 유도 표현 학습을 위해 명시적으로 설계된 초경량 및 플러그 앤 플레이(plug-and-play) 이미지 백본인 DeGuNet을 제안한다. 희소성 인식 특징 추출 메커니즘을 통합함으로써, DeGuNet은 다중 뷰 이미지를 비구조적 LiDAR 깊이와 효과적으로 정렬하면서 유효하지 않은 영역의 오염을 엄격히 방지한다. nuScenes 데이터셋에 대한 광범위한 실험은 DeGuNet의 폭넓은 플러그 앤 플레이 적용성과 우수한 효율성을 입증한다. 기존 베이스라인에 통합했을 때, DeGuNet은 구조적 중복을 근본적으로 제거하여 GPU 메모리 사용량을 최대 66.5% 줄이고 1.16배의 추론 속도 향상을 달성한다. 동시에 DeGuNet은 최대 6.20의 절대 mAP 향상을 제공하여, 매개변수 효율적인 다중 모달리티 3D 인식을 위한 새로운 패러다임을 제시한다."}

토론

이 논문과 연결된 포럼 글이 아직 없습니다.