arXiv:2210.02009

Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation

Jialei Xu, Xianming Liu, Yuanchao Bai, Junjun Jiang, Kaixuan Wang, Xiaozhi Chen, Xiangyang Ji

제출 2022-10-05

원문 초록

Depth map estimation from images is an important task in robotic systems. Existing methods can be categorized into two groups including multi-view stereo and monocular depth estimation. The former requires cameras to have large overlapping areas and sufficient baseline between cameras, while the latter that processes each image independently can hardly guarantee the structure consistency between cameras. In this paper, we propose a novel multi-camera collaborative depth prediction method that does not require large overlapping areas while maintaining structure consistency between cameras. Specifically, we formulate the depth estimation as a weighted combination of depth basis, in which the weights are updated iteratively by a refinement network driven by the proposed consistency loss. During the iterative update, the results of depth estimation are compared across cameras and the information of overlapping areas is propagated to the whole depth maps with the help of basis formulation. Experimental results on DDAD and NuScenes datasets demonstrate the superior performance of our method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03439v1cs.CV공통 태그 Depth Estimation, Monocular Depth Estimation

이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법

Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation

이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.

arXiv:2607.21953v1cs.CV공통 태그 Prediction, Depth Estimation

파노라마 인식과 비전-언어 모델을 통한 저고도 채널 다중경로 예측

Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model

무인항공기(UAV) 통신은 6G 이동통신 네트워크에서 다양한 저고도 응용을 지원할 것으로 기대된다. 그러나 전통적인 통계적 채널 모델은 특정 환경에서 정확도가 제한적이며, 광선 추적(ray tracing)과 같은 결정론적 방법은 일반적으로 정확한 3차원 환경 모델에 의존하고 높은 계산 복잡도를 수반한다. 기존의 멀티모달 채널 예측 접근법은 주로 경로 손실(path loss)과 같은 대규모 지표에 초점을 맞추며, 소규모 파라미터 모델링에는 여전히 부족하다. 이러한 한계를 해결하기 위해 본 논문은 PanoLAMP(Panoramic perception and vision-language model-based Low-Altitude Multipath Prediction) 프레임워크를 제안한다. 이는 사전학습된 비전-언어 모델을 백본으로 채택하고, 송신기와 수신기 모두에서 수집한 파노라마 RGB-D 관측을 통해 전파 환경 특징을 포착하여 시선(line-of-sight) 경로에 대한 지연, 전력, 방위각, 천정각 오프셋을 예측한다. 실험은 7가지 UAV 고도에 걸친 18,949개의 UAV-차량 링크를 포함하는 합성 데이터셋에서 수행되었다. 실험 결과, 제안 방법은 다중경로 파라미터와 통계적 지표 모두에서 대표적인 베이스라인을 지속적으로 능가하며, 서로 다른 비행 고도에 걸쳐 더 강한 일반화 성능을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.