arXiv:1905.07005

How do neural networks see depth in single images?

Tom van Dijk, Guido C. H. E. de Croon

제출 2019-05-16

원문 초록

Deep neural networks have lead to a breakthrough in depth estimation from single images. Recent work often focuses on the accuracy of the depth map, where an evaluation on a publicly available test set such as the KITTI vision benchmark is often the main result of the article. While such an evaluation shows how well neural networks can estimate depth, it does not show how they do this. To the best of our knowledge, no work currently exists that analyzes what these networks have learned. In this work we take the MonoDepth network by Godard et al. and investigate what visual cues it exploits for depth estimation. We find that the network ignores the apparent size of known obstacles in favor of their vertical position in the image. Using the vertical position requires the camera pose to be known; however we find that MonoDepth only partially corrects for changes in camera pitch and roll and that these influence the estimated depth towards obstacles. We further show that MonoDepth's use of the vertical image position allows it to estimate the distance towards arbitrary obstacles, even those not appearing in the training set, but that it requires a strong edge at the ground contact point of the object to do so. In future work we will investigate whether these observations also apply to other neural networks for monocular depth estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03439v1cs.CV공통 태그 Depth Estimation, Monocular Depth Estimation

이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법

Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation

이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.

arXiv:2606.27332v1cs.CV공통 태그 Position, Depth Estimation

RoPEMover: 위치 임베딩을 통한 깊이 인식 객체 재배치

RoPEMover: Depth-Aware Object Relocation via Positional Embeddings

단일 이미지에서 객체를 이동시키려면 가려짐 처리, 이전에 보이지 않던 영역의 노출, 일관된 그림자와 반사의 유지 등을 포함하는 기하학적으로 일관된 공간 재배치가 필요하다. 기존 접근법은 이러한 설정에 잘 적합하지 않으며, 종종 이러한 장면 수준의 일관성을 유지하지 못한다. 우리는 디퓨전 트랜스포머의 위치 표현에 직접 작용하는 기하학 인식 객체 이동 방법을 도입하여 이 문제를 해결한다. 핵심 통찰은 회전 위치 임베딩(RoPE)이 제어된 이동을 유도하기 위해 명시적으로 조작할 수 있는 구조화된 공간 필드를 정의한다는 것이다. 우리는 2D RoPE를 3D 공간 구조를 인코딩하는 깊이 인식 공식화로 확장하여, 일관된 객체 변위와 장면 인식 갱신을 가능하게 한다. 우리 모델은 합성 데이터와 소량의 실제 이미지를 결합하고 매개변수 효율적 미세조정을 통해 학습된다. 실제 감독 신호가 최소임에도 불구하고, 큰 공간 변위에서 객체 정체성을 보존하고, 새로 드러난 영역에 그럴듯한 콘텐츠를 생성하며, 그림자와 조명과 같은 장면 의존적 효과를 일관되게 갱신한다. 표준 객체 이동 벤치마크에 대한 실험 결과는 모든 평가 지표에서 최첨단 성능을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.