Don't Forget The Past: Recurrent Depth Estimation from Monocular Video
원문 초록
Autonomous cars need continuously updated depth information. Thus far, depth is mostly estimated independently for a single frame at a time, even if the method starts from video input. Our method produces a time series of depth maps, which makes it an ideal candidate for online learning approaches. In particular, we put three different types of depth estimation (supervised depth prediction, self-supervised depth prediction, and self-supervised depth completion) into a common framework. We integrate the corresponding networks with a ConvLSTM such that the spatiotemporal structures of depth across frames can be exploited to yield a more accurate depth estimation. Our method is flexible. It can be applied to monocular videos only or be combined with different types of sparse depth patterns. We carefully study the architecture of the recurrent network and its training strategy. We are first to successfully exploit recurrent networks for real-time self-supervised monocular depth estimation and completion. Extensive experiments show that our recurrent method outperforms its image-based counterpart consistently and significantly in both self-supervised scenarios. It also outperforms previous depth estimation methods of the three popular groups. Please refer to https://www.trace.ethz.ch/publications/2020/rec_depth_estimation/ for details.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
지구 관측 회귀 태스크를 위한 불확실성 정량화: 건물 높이, 수관 높이 및 지상 바이오매스 추정
Uncertainty Quantification for EO Regression Tasks: Building Height, Tree Canopy Height and Above-ground Biomass Estimation
건물 높이, 수관 높이, 지상 바이오매스 추정과 같은 지구 관측(EO) 회귀 태스크는 정확성과 신뢰성이 모두 중요한 도시 계획, 산림 모니터링, 기후 정책 분야의 핵심 응용을 뒷받침한다. 그러나 대부분의 심층 학습 모델은 결정론적 예측만을 산출하며, 픽셀별 신뢰도에 대한 정보를 전혀 제공하지 않는다. 이러한 회귀 태스크는 이질적인 지표면, 편향된 목표 분포, 센서 노이즈, 높은 목표값에서의 신호 포화로 인해 본질적으로 어렵기 때문에, 신뢰할 수 있는 추론을 위해 불확실성(UC) 추정이 필수적이다. 본 연구는 연간 Sentinel-1 SAR 및 Sentinel-2 MSI 시계열 데이터를 활용한 인식론적 불확실성 모델링을 통해 이 문제를 해결하며, 두 가지 상호 보완적인 접근 방식을 제안한다: (i) 가우시안 분포 가정하에 평균과 표준편차를 공동으로 예측하는 가우시안 UC, (ii) 비대칭적이고 이분산적인 오차 분포를 포착하기 위해 10번째, 50번째, 90번째 분위수를 추정하는 분위수 UC. 두 모델 모두 10m 공간 해상도에서 세 가지 대표적인 EO 회귀 태스크에 대해 평가된다. 실험 결과, 두 접근 방식 모두 결정론적 벤치마크 및 기존 전지구 제품과 동등하거나 이를 능가하는 성능을 보이면서, 잘 보정되고 해석 가능하며 실용적으로 유용한 신뢰도 추정값을 제공한다. 특히, 두 모델 모두 수관 높이 추정에서 현재 10m 해상도의 최신 불확실성 인식 모델을 능가한다. 구현 코드는 https://github.com/RituYadav92/EO-Regression-Uncertainty-Estimation 에서 제공될 예정이다.
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
Cross-modal transformers for infrared and visible image fusion
TransDSSL: Transformer based Depth Estimation via Self-Supervised Learning
Focal-WNet: An Architecture Unifying Convolution and Attention for Depth Estimation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.