Monocular Depth Estimation with Augmented Ordinal Depth Relationships
원문 초록
Most existing algorithms for depth estimation from single monocular images need large quantities of metric groundtruth depths for supervised learning. We show that relative depth can be an informative cue for metric depth estimation and can be easily obtained from vast stereo videos. Acquiring metric depths from stereo videos is sometimes impracticable due to the absence of camera parameters. In this paper, we propose to improve the performance of metric depth estimation with relative depths collected from stereo movie videos using existing stereo matching algorithm. We introduce a new "Relative Depth in Stereo" (RDIS) dataset densely labelled with relative depths. We first pretrain a ResNet model on our RDIS dataset. Then we finetune the model on RGB-D datasets with metric ground-truth depths. During our finetuning, we formulate depth estimation as a classification task. This re-formulation scheme enables us to obtain the confidence of a depth prediction in the form of probability distribution. With this confidence, we propose an information gain loss to make use of the predictions that are close to ground-truth. We evaluate our approach on both indoor and outdoor benchmark RGB-D datasets and achieve state-of-the-art performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MonoMVSNet: Monocular Priors Guided Multi-View Stereo Network
MAGIC: 비지도 스테레오 매칭을 위한 가시성 비대칭 기반 학습
MAGIC: Learning from Visibility Asymmetry for Unsupervised Stereo Matching
가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋
SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine
위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.
독립적인 샘플, 상관된 분산: 경로 추적 스테레오 데이터에서 학습 가능한 교차 뷰 단서
Independent Samples, Correlated Variance A Learnable Cross-View Cue in Path-Traced Stereo Data
경로 추적(path tracing) 기반 합성 스테레오는 디스패리티(disparity) 네트워크를 위한 주요 학습(training) 기반 데이터이며, 이를 사용하는 파이프라인들은 몬테카를로(Monte Carlo, MC) 렌더링 노이즈가 두 뷰 사이에서 독립적이라고 가정한다. 이 가정은 그것이 언급되는 수준, 즉 개별 샘플 수준에서는 옳지만, 네트워크가 실제로 보는 대상에 대해서는 아무것도 말해주지 않는다. 우리는 픽셀별 MC \emph{분산 필드}가 독립적인 샘플들로부터 구성되었음에도 불구하고, 정답(ground-truth) 디스패리티로 정렬하고 나면 강하게 상관되어 있으며, 네트워크가 이 상관관계를 이용해 매칭하는 법을 학습할 수 있음을 보인다. 20개의 실내 장면에서 워핑된 상관관계는 $0.754\pm0.016$인 반면 워핑하지 않은 경우는 $0.360$이다. 이 결과는 서로 다른 샘플러와 샘플 예산을 가진 두 번째 렌더러에서도 재현되며($0.743\pm0.044$), 시드 수 분석에 따르면 모집단 값은 약 $0.85$에 이르러 이 측정치가 하한값임을 시사한다. 이 효과는 샘플 수준이 아닌 필드 수준에서 나타난다. 즉 워프 대응(warp correspondence) 지점에서 부호가 있는 시드별 잔차 상관관계는 $-0.0004$인 반면, 잔차 포락선(residual envelope)의 상관관계는 $0.38$이다. 분산 필드 패치만 주어진, 용량이 제한된 샴(siamese) 프로브는 홀드아웃 장면에서 2지선다 강제 선택(two-alternative forced-choice) 정확도 $78.8\%$를 달성하며, 정렬이 깨지면 우연 수준으로 떨어진다. 일반적인 단일 렌더링 조건에서도, 상관 제거(decorrelation)는 이중차분법(difference-in-differences) 설계에서 $2.40$ 퍼센트포인트의 손실을 초래하며, 이는 6개의 홀드아웃 장면 모두에서 양의 값으로 나타난다. 실제 센서의 분산은 전달(transport) 난이도가 아니라 자체 신호에 의해 결정되므로, 뷰 간에는 강도(intensity)와 중복된 정보를 지니게 된다. 즉 이 단서는 렌더링된 데이터에 특화된 것이다.
시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크
A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.