arXiv:2004.08566

On the Synergies between Machine Learning and Binocular Stereo for Depth Estimation from Images: a Survey

Matteo Poggi, Fabio Tosi, Konstantinos Batsos, Philippos Mordohai, Stefano Mattoccia

제출 2020-04-18

원문 초록

Stereo matching is one of the longest-standing problems in computer vision with close to 40 years of studies and research. Throughout the years the paradigm has shifted from local, pixel-level decision to various forms of discrete and continuous optimization to data-driven, learning-based methods. Recently, the rise of machine learning and the rapid proliferation of deep learning enhanced stereo matching with new exciting trends and applications unthinkable until a few years ago. Interestingly, the relationship between these two worlds is two-way. While machine, and especially deep, learning advanced the state-of-the-art in stereo matching, stereo itself enabled new ground-breaking methodologies such as self-supervised monocular depth estimation based on deep networks. In this paper, we review recent research in the field of learning-based depth estimation from single and binocular images highlighting the synergies, the successes achieved so far and the open challenges the community is going to face in the immediate future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03439v1cs.CV공통 태그 Depth Estimation, Monocular Depth Estimation

이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법

Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation

이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.

arXiv:2609.27442v1cs.CV공통 태그 Depth Estimation, Stereo Matching

SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋

SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine

위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.

arXiv:2606.25483v2cs.CV공통 태그 Depth Estimation, Stereo Matching

독립적인 샘플, 상관된 분산: 경로 추적 스테레오 데이터에서 학습 가능한 교차 뷰 단서

Independent Samples, Correlated Variance A Learnable Cross-View Cue in Path-Traced Stereo Data

경로 추적(path tracing) 기반 합성 스테레오는 디스패리티(disparity) 네트워크를 위한 주요 학습(training) 기반 데이터이며, 이를 사용하는 파이프라인들은 몬테카를로(Monte Carlo, MC) 렌더링 노이즈가 두 뷰 사이에서 독립적이라고 가정한다. 이 가정은 그것이 언급되는 수준, 즉 개별 샘플 수준에서는 옳지만, 네트워크가 실제로 보는 대상에 대해서는 아무것도 말해주지 않는다. 우리는 픽셀별 MC \emph{분산 필드}가 독립적인 샘플들로부터 구성되었음에도 불구하고, 정답(ground-truth) 디스패리티로 정렬하고 나면 강하게 상관되어 있으며, 네트워크가 이 상관관계를 이용해 매칭하는 법을 학습할 수 있음을 보인다. 20개의 실내 장면에서 워핑된 상관관계는 $0.754\pm0.016$인 반면 워핑하지 않은 경우는 $0.360$이다. 이 결과는 서로 다른 샘플러와 샘플 예산을 가진 두 번째 렌더러에서도 재현되며($0.743\pm0.044$), 시드 수 분석에 따르면 모집단 값은 약 $0.85$에 이르러 이 측정치가 하한값임을 시사한다. 이 효과는 샘플 수준이 아닌 필드 수준에서 나타난다. 즉 워프 대응(warp correspondence) 지점에서 부호가 있는 시드별 잔차 상관관계는 $-0.0004$인 반면, 잔차 포락선(residual envelope)의 상관관계는 $0.38$이다. 분산 필드 패치만 주어진, 용량이 제한된 샴(siamese) 프로브는 홀드아웃 장면에서 2지선다 강제 선택(two-alternative forced-choice) 정확도 $78.8\%$를 달성하며, 정렬이 깨지면 우연 수준으로 떨어진다. 일반적인 단일 렌더링 조건에서도, 상관 제거(decorrelation)는 이중차분법(difference-in-differences) 설계에서 $2.40$ 퍼센트포인트의 손실을 초래하며, 이는 6개의 홀드아웃 장면 모두에서 양의 값으로 나타난다. 실제 센서의 분산은 전달(transport) 난이도가 아니라 자체 신호에 의해 결정되므로, 뷰 간에는 강도(intensity)와 중복된 정보를 지니게 된다. 즉 이 단서는 렌더링된 데이터에 특화된 것이다.

arXiv:2607.24024v1cs.CV공통 태그 Depth Estimation, Stereo Matching

시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/

arXiv:2607.19986v1cs.CV공통 태그 Depth Estimation, Stereo Matching

STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭

STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching

스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.

arXiv:2607.13674v1cs.CV공통 태그 Depth Estimation, Stereo Matching

WAVE-Stereo: 스테레오 매칭을 위한 워프 정렬 볼륨 인코딩

WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching

기존 반복적 스테레오 매칭 방법들은 주로 두 가지 대응 관계 표현 방식을 채택한다. 하나는 상관 볼륨(correlation volume)을 통한 명시적 매칭 탐색이고, 다른 하나는 워프된 특징(warped feature)을 통한 국소 잔차 정제이지만, 이 둘은 여전히 별도로 모델링된다. 우리는 WAVE-Stereo를 제안한다. 핵심 통찰은 상관 볼륨과 특징 워핑(feature warping)이 상보적인 매칭 단서를 제공한다는 것이다. GeoWarp Correspondence Encoder(GWCE)는 ConvGRU 입력에서 매칭 탐색, 잔차 정렬, 시차(disparity) 사전을 병렬로 인코딩한다. 텍스처가 없는 영역에서의 매칭 저하를 완화하기 위해, 주기적으로 전역 공간 정보를 전파하는 Periodic Global Context Propagation(PGCP)을 제안한다. Middlebury, ETH3D, KITTI 2012, KITTI 2015, Booster의 다섯 가지 실세계 벤치마크에서 WAVE-Stereo는 외부 기반 모델(foundation model) 사전 지식 없이 경쟁력 있는 제로샷(zero-shot) 일반화 정확도를 달성한다. KITTI 2015에서 3.18% D1-all, Booster에서 4.42% Bad-2.0, 66ms 실시간 추론을 기록하며 정확도와 효율성 사이의 유리한 균형을 이룬다. 코드는 https://github.com/yamanoko-do/WAVE-Stereo 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.