Left-Right Comparative Recurrent Model for Stereo Matching
원문 초록
Leveraging the disparity information from both left and right views is crucial for stereo disparity estimation. Left-right consistency check is an effective way to enhance the disparity estimation by referring to the information from the opposite view. However, the conventional left-right consistency check is an isolated post-processing step and heavily hand-crafted. This paper proposes a novel left-right comparative recurrent model to perform left-right consistency checking jointly with disparity estimation. At each recurrent step, the model produces disparity results for both views, and then performs online left-right comparison to identify the mismatched regions which may probably contain erroneously labeled pixels. A soft attention mechanism is introduced, which employs the learned error maps for better guiding the model to selectively focus on refining the unreliable regions at the next recurrent step. In this way, the generated disparity maps are progressively improved by the proposed recurrent model. Extensive evaluations on KITTI 2015, Scene Flow and Middlebury benchmarks validate the effectiveness of our model, demonstrating that state-of-the-art stereo disparity estimation results can be achieved by this new model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching
MAGIC: 비지도 스테레오 매칭을 위한 가시성 비대칭 기반 학습
MAGIC: Learning from Visibility Asymmetry for Unsupervised Stereo Matching
가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.
일반화된 스테레오 매칭을 위한 단안 깊이 임베딩 재고찰
Rethinking Monocular Depth Embedding for Generalized Stereo Matching
일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.
RobuSTereo: Robust Zero-Shot Stereo Matching under Adverse Weather
DiFuse-Net: RGB and Dual-Pixel Depth Estimation using Window Bi-directional Parallax Attention and Cross-modal Transfer Learning
SOS: Stereo Matching in O(1) with Slanted Support Windows
토론
이 논문과 연결된 포럼 글이 아직 없습니다.