We present a system that transforms a monocular video of a soccer game into a moving 3D reconstruction, in which the players and field can be rendered interactively with a 3D viewer or through an Augmented Reality device. At the heart of our paper is an approach to estimate the depth map of each player, using a CNN that is trained on 3D player data extracted from soccer video games. We compare with state of the art body pose and depth estimation techniques, and show results on both synthetic ground truth benchmarks, and real YouTube soccer footage.
Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods. Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.
Monocular depth estimation, which plays a crucial role in understanding 3D scene geometry, is an ill-posed problem. Recent methods have gained significant improvement by exploring image-level information and hierarchical features from deep convolutional neural networks (DCNNs). These methods model depth estimation as a regression problem and train the regression networks by minimizing mean squared error, which suffers from slow convergence and unsatisfactory local solutions. Besides, existing depth estimation networks employ repeated spatial pooling operations, resulting in undesirable low-resolution feature maps. To obtain high-resolution depth maps, skip-connections or multi-layer deconvolution networks are required, which complicates network training and consumes much more computations. To eliminate or at least largely reduce these problems, we introduce a spacing-increasing discretization (SID) strategy to discretize depth and recast depth network learning as an ordinal regression problem. By training the network using an ordinary regression loss, our method achieves much higher accuracy and \dd{faster convergence in synch}. Furthermore, we adopt a multi-scale network structure which avoids unnecessary spatial pooling and captures multi-scale information in parallel. The method described in this paper achieves state-of-the-art results on four challenging benchmarks, i.e., KITTI [17], ScanNet [9], Make3D [50], and NYU Depth v2 [42], and win the 1st prize in Robust Vision Challenge 2018. Code has been made available at: https://github.com/hufu6371/DORN.
Supervised deep learning methods have shown promising results for the task of monocular depth estimation; but acquiring ground truth is costly, and prone to noise as well as inaccuracies. While synthetic datasets have been used to circumvent above problems, the resultant models do not generalize well to natural scenes due to the inherent domain shift. Recent adversarial approaches for domain adaption have performed well in mitigating the differences between the source and target domains. But these methods are mostly limited to a classification setup and do not scale well for fully-convolutional architectures. In this work, we propose AdaDepth - an unsupervised domain adaptation strategy for the pixel-wise regression task of monocular depth estimation. The proposed approach is devoid of above limitations through a) adversarial learning and b) explicit imposition of content consistency on the adapted target representation. Our unsupervised approach performs competitively with other established approaches on depth estimation tasks and achieves state-of-the-art results in a semi-supervised setting.
This paper aims at understanding the role of multi-scale information in the estimation of depth from monocular images. More precisely, the paper investigates four different deep CNN architectures, designed to explicitly make use of multi-scale features along the network, and compare them to a state-of-the-art single-scale approach. The paper also shows that involving multi-scale features in depth estimation not only improves the performance in terms of accuracy, but also gives qualitatively better depth maps. Experiments are done on the widely used NYU Depth dataset, on which the proposed method achieves state-of-the-art performance.
We present a novel approach for unsupervised learning of depth and ego-motion from monocular video. Unsupervised learning removes the need for separate supervisory signals (depth or ego-motion ground truth, or multi-view video). Prior work in unsupervised depth learning uses pixel-wise or gradient-based losses, which only consider pixels in small local neighborhoods. Our main contribution is to explicitly consider the inferred 3D geometry of the scene, enforcing consistency of the estimated 3D point clouds and ego-motion across consecutive frames. This is a challenging task and is solved by a novel (approximate) backpropagation algorithm for aligning 3D structures. We combine this novel 3D-based loss with 2D losses based on photometric quality of frame reconstructions using estimated depth and ego-motion from adjacent frames. We also incorporate validity masks to avoid penalizing areas in which no useful information exists. We test our algorithm on the KITTI dataset and on a video dataset captured on an uncalibrated mobile phone camera. Our proposed approach consistently improves depth estimates on both datasets, and outperforms the state-of-the-art for both depth and ego-motion. Because we only require a simple video, learning depth and ego-motion on large and varied datasets becomes possible. We demonstrate this by training on the low quality uncalibrated video dataset and evaluating on KITTI, ranking among top performing prior methods which are trained on KITTI itself.
Monocular depth estimation, which plays a key role in understanding 3D scene geometry, is fundamentally an ill-posed problem. Existing methods based on deep convolutional neural networks (DCNNs) have examined this problem by learning convolutional networks to estimate continuous depth maps from monocular images. However, we find that training a network to predict a high spatial resolution continuous depth map often suffers from poor local solutions. In this paper, we hypothesize that achieving a compromise between spatial and depth resolutions can improve network training. Based on this "compromise principle", we propose a regression-classification cascaded network (RCCN), which consists of a regression branch predicting a low spatial resolution continuous depth map and a classification branch predicting a high spatial resolution discrete depth map. The two branches form a cascaded structure allowing the classification and regression branches to benefit from each other. By leveraging large-scale raw training datasets and some data augmentation strategies, our network achieves top or state-of-the-art results on the NYU Depth V2, KITTI, and Make3D benchmarks.
Removing camera motion blur from a single light field is a challenging task since it is highly ill-posed inverse problem. The problem becomes even worse when blur kernel varies spatially due to scene depth variation and high-order camera motion. In this paper, we propose a novel algorithm to estimate all blur model variables jointly, including latent sub-aperture image, camera motion, and scene depth from the blurred 4D light field. Exploiting multi-view nature of a light field relieves the inverse property of the optimization by utilizing strong depth cues and multi-view blur observation. The proposed joint estimation achieves high quality light field deblurring and depth estimation simultaneously under arbitrary 6-DOF camera motion and unconstrained scene depth. Intensive experiment on real and synthetic blurred light field confirms that the proposed algorithm outperforms the state-of-the-art light field deblurring and depth estimation methods.
손상된 비디오 비트스트림에서 시각적으로 충실한 콘텐츠를 복원하는 것은 신뢰할 수 있는 멀티미디어 통신 및 저장에 매우 중요합니다. 기존 방식들은 입력 비디오 시퀀스의 국소적 잔차(local residuals)와 비국소적(non-local) RGB 참조를 활용하지만, 두 원천 모두 디코딩 후 신뢰할 수 없게 될 수 있으며, 추가적인 참조를 처리하는 것은 수신측의 연산 및 메모리 부담을 증가시킵니다. 본 논문에서는 수신된 외관 정보가 손상되었을 때 전송 전 깊이(depth) 기반 기하학적 정보가 재구성을 돕는 RGB 및 깊이 정보를 활용한 멀티모달 비트스트림 손상 비디오 복원(MBSCVR)을 연구합니다. 우리는 더 높은 성능을 달성하기 위해 복원 윈도우당 단 하나의 선택된 비국소적 RGB 참조만을 선별하여 효과적으로 활용하는 새로운 MBSCVR 프레임워크를 제안합니다. 이 프레임워크는 참조 인코딩 전에 유효한 외관 정보와 깊이 호환성을 결합하는 신뢰성 인식 멀티모달 선택기를 통합합니다. 깊이 조건부 참조 적응(DCRA)은 선택된 RGB 단서를 특징(feature) 완성 및 콘텐츠 생성에 도입하는 한편, 프레임 정렬된 깊이는 완성 쿼리를 조건화합니다. 오라클 마스크를 적용한 완전한 BSCV 벤치마크에서, MBSCVR은 단 하나의 선택된 참조만을 사용하여 YouTube-VOS에서 32.30 dB, DAVIS에서 28.93 dB를 달성함으로써 전체 참조를 사용하는 B2SCVR을 각각 0.27 dB 및 0.33 dB 앞서고 두 서브셋 모두에서 SSIM을 향상시켰습니다. 동일 조건의 수신측 순방향 측정 결과에서는 지연 시간이 36.8% 감소하고 최대 메모리가 40.8% 감소한 것으로 나타났습니다. 이러한 결과는 간결한 기하학적 유도와 적응형 외관 처리가 멀티미디어 복원의 품질과 자원 간의 절충(trade-off)을 어떻게 개선하는지 보여줍니다.
특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.
가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.
RGB-D 직접 시각적 주행거리 측정(VO)은 미터법 깊이 측정값의 이점을 활용하지만, 직접 정렬(direct alignment)의 광도 및 기하학적 일관성 가정을 위반하는 동적 객체, 가림, 조명 변화, 신뢰할 수 없는 깊이가 존재하는 경우 성능이 저하되는 경우가 많습니다. 본 논문에서는 통합된 학습 기반 불확실성 모델을 통해 이러한 문제를 해결하는 일관성 인식 RGB-D 직접 희소 주행거리 측정 프레임워크인 Con-DSO를 제안합니다. 이중 브랜치 일관성 네트워크는 인접한 RGB-D 프레임 쌍에서 흐름 유도(flow-guided) 광도 오차 및 투영 깊이 일관성 오차를 사용하여 학습되어 픽셀 수준의 광도 및 기하학적 불확실성을 예측합니다. 예측된 불확실성은 먼저 쌍별 품질로 변환되어 지지 픽셀 선택을 유도하며, 이후 인접한 프레임 쌍에 걸쳐 융합되어 키프레임 기반 추적을 위한 호스트 측 품질 사전확률(prior)을 형성합니다. 직접 RGB-D 최적화에서 광도 및 깊이 정보의 서로 다른 역할을 고려하기 위해, 자세 추정의 병진(translational) 성분에만 기하학적 가중치를 적용하는 분리된 광도-기하학적 가중치 체계를 통해 품질 사전확률을 통합합니다. 5개의 공개 RGB-D 벤치마크에 대한 실험은 직접 RGB-D 주행거리 측정 베이스라인 대비 일관된 성능 향상을 보여주며, ICL-NUIM에서 절대 궤적 오차를 20% 이상 감소시키고 RGB-D Scenes V2, TUM/BONN, OpenLORIS에서 약 50%에서 80%의 감소를 달성합니다. 이러한 결과는 학습된 일관성 인식 불확실성이 까다로운 환경에서 RGB-D 직접 시각적 주행거리 측정의 강인성을 실질적으로 향상시킬 수 있음을 보여줍니다.
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
최근의 피드포워드 3D 재구성 기법들은 포인트 맵(point map)을 예측하여 전역적 3D 기하학을 매우 잘 추정합니다. 그러나 이러한 예측들은 여전히 부정확한 국소 표면 기하학을 나타내며, 이는 정성적으로는 명확히 드러나지만 일반적인 평가 지표에서는 미미하게만 반영됩니다. 평가 시 이러한 오차를 더욱 명확히 드러내기 위해, 우리는 인접한 3D 예측에 의해 유도되는 국소 표면 방향을 평가하는 포인트 맵 법선(normal) 평가 지표를 도입합니다. 이러한 오차를 줄이기 위해 상호보완적인 두 가지 구성 요소를 제안합니다. 즉, 깊이 정규화된 3D 유한차분을 감독하는 포인트 그래디언트 매칭 손실과, 특징을 점진적으로 업샘플링하며 국소 특징 혼합을 위해 이웃 어텐션(Neighborhood Attention)을 사용하는 Neighborhood Attention Decoder(NAD)입니다. 8개의 제로샷 단안 기하학 벤치마크 전반에서 우리의 모델인 SurGe는 전역 포인트 맵 AbsRel에 대해 최고 평균 순위를 달성하며, 국소 포인트 맵 및 포인트 맵 법선 평가를 일관되게 향상시킵니다.
Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.
부분 투과성 스크린과 보호 덮개는 로봇 검사에서 흔히 사용되지만, 전경 물질과 그 뒤의 장면 모두로부터 혼합된 라이다(LiDAR) 반환 신호를 생성합니다. 기존의 피크 기반 라이다는 대체로 약한 숨겨진 반환 신호를 폐기하는 반면, 단일 광자 라이다(single-photon LiDAR)는 감쇄되거나 중첩된 에코를 보존하는 시간 분해 히스토그램을 기록합니다. 그러나 기존의 트랜지언트(transient) 복원 방법들은 일반적으로 측정된 파형(waveform)에 단일 장면 표현을 피팅합니다. 가림(occlusion) 환경에서는 약하거나 인접한 전경-숨겨진 에코가 넓은 피크나 미세한 숄더(shoulder)를 형성할 수 있습니다. 이러한 파형은 위치가 이동된 단일 표면이나 두꺼운 밀도 분포로도 설명될 수 있으므로, 정확한 트랜지언트 피팅이 반드시 올바른 기하학적 구조를 의미하지는 않습니다. 본 논문에서는 가려진 단일 광자 히스토그램으로부터 전경 뷰와 가려진 장면을 복원하기 위한 상태 인식(state-aware) 프레임워크를 제안합니다. 각 광선(ray)에 대해 신뢰할 수 있는 표면 근거가 없는 경우, 단일 반환 근거가 있는 경우, 또는 두 개의 반환 근거가 있는 경우를 식별하여 국소 에코 근거를 추정합니다. 추정된 에코 상태는 2-헤드 신경 필드(two-head neural field)의 지도 학습 경로를 지정합니다. 즉, 모든 광선은 파형 재구성을 제약하는 반면, 신뢰할 수 있는 앵커는 기하학적 위치 추정을 제공합니다. 또한 고정된 포즈에서 가려진 캡처와 깨끗한 캡처를 포함하는 실제 쌍을 이룬 단일 광자 라이다 가림 데이터셋(dataset)을 제시합니다. 실제 데이터셋에 대한 실험 결과, 베이스라인 대비 향상된 가려진 장면 깊이 및 포인트 클라우드 정확도를 보여줍니다. 본 연구 결과는 단일 광자 계층형 복원이 부분 투과성 가림체를 통한 3D 인식의 실용적인 경로임을 입증합니다.