DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for Monocular Depth Estimation
원문 초록
Depth estimation is an active area of research in the field of computer vision, and has garnered significant interest due to its rising demand in a large number of applications ranging from robotics and unmanned aerial vehicles to autonomous vehicles. A particularly challenging problem in this area is monocular depth estimation, where the goal is to infer depth from a single image. An effective strategy that has shown considerable promise in recent years for tackling this problem is the utilization of deep convolutional neural networks. Despite these successes, the memory and computational requirements of such networks have made widespread deployment in embedded scenarios very challenging. In this study, we introduce DepthNet Nano, a highly compact self normalizing network for monocular depth estimation designed using a human machine collaborative design strategy, where principled network design prototyping based on encoder-decoder design principles are coupled with machine-driven design exploration. The result is a compact deep neural network with highly customized macroarchitecture and microarchitecture designs, as well as self-normalizing characteristics, that are highly tailored for the task of embedded depth estimation. The proposed DepthNet Nano possesses a highly efficient network architecture (e.g., 24X smaller and 42X fewer MAC operations than Alhashim et al. on KITTI), while still achieving comparable performance with state-of-the-art networks on the NYU-Depth V2 and KITTI datasets. Furthermore, experiments on inference speed and energy efficiency on a Jetson AGX Xavier embedded module further illustrate the efficacy of DepthNet Nano at different resolutions and power budgets (e.g., ~14 FPS and >0.46 images/sec/watt at 384 X 1280 at a 30W power budget on KITTI).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합
Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation
개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.
ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델
WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving
비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.
OmniSpace: 자율주행 차량 MLLM의 효율적인 기하 인식
OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs
멀티모달 대규모 언어 모델(MMLM)은 2D 시각 태스크에서 뛰어난 성능을 달성했지만, 자율주행 차량(AV)과 같은 실제 응용을 위한 공간 지능을 향상시키는 것은 여전히 미해결 과제로 남아 있다. 기존의 기하 인식 MLLM은 일반적으로 추론 시점에 보조 3D 모델에 의존하여 파이프라인 복잡도와 연쇄적 실패 위험을 초래한다. 본 논문에서는 순수 2D 관측만으로 기하 인식 공간 추론을 수행하는 단순하면서도 효과적인 플러그 앤 플레이 패러다임인 OmniSpace를 제안한다. 현재 MLLM이 취약한 교차 뷰 대응(cross-view correspondence)과 깊이 추정에 병목이 있다는 발견에 영감을 받아, OmniSpace는 Camera Pose Injector, Multi-view Epipolar 어텐션 모듈, 그리고 3D 기하 지식 증류(distillation) 목적함수를 도입하여 기하학적 지식을 모델로 전이함으로써 이 두 한계를 공동으로 해결한다. 광범위한 실험 결과, OmniSpace는 계획(planning) 벤치마크(nuScenes, Bench2Drive), 위험 탐지(nuInstruct), 언어(Omnidrive), 일반화(DriveBench)에서 기존 방법들을 능가한다.
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.