arXiv:2302.00523

Uncertainty-Driven Dense Two-View Structure from Motion

Weirong Chen, Suryansh Kumar, Fisher Yu

제출 2023-02-01

원문 초록

This work introduces an effective and practical solution to the dense two-view structure from motion (SfM) problem. One vital question addressed is how to mindfully use per-pixel optical flow correspondence between two frames for accurate pose estimation -- as perfect per-pixel correspondence between two images is difficult, if not impossible, to establish. With the carefully estimated camera pose and predicted per-pixel optical flow correspondences, a dense depth of the scene is computed. Later, an iterative refinement procedure is introduced to further improve optical flow matching confidence, camera pose, and depth, exploiting their inherent dependency in rigid SfM. The fundamental idea presented is to benefit from per-pixel uncertainty in the optical flow estimation and provide robustness to the dense SfM system via an online refinement. Concretely, we introduce our uncertainty-driven Dense Two-View SfM pipeline (DTV-SfM), consisting of an uncertainty-aware dense optical flow estimation approach that provides per-pixel correspondence with their confidence score of matching; a weighted dense bundle adjustment formulation that depends on optical flow uncertainty and bidirectional optical flow consistency to refine both pose and depth; a depth estimation network that considers its consistency with the estimated poses and optical flow respecting epipolar constraint. Extensive experiments show that the proposed approach achieves remarkable depth accuracy and state-of-the-art camera pose results superseding SuperPoint and SuperGlue accuracy when tested on benchmark datasets such as DeMoN, YFCC100M, and ScanNet. Code and more materials are available at http://vis.xyz/pub/dtv-sfm.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27509v1cs.CV공통 태그 Pose Estimation, Optical Flow Estimation, Depth Estimation

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2610.10564v1cs.RO공통 태그 Optical Flow Estimation, Depth Estimation

텍스처가 부족할 때 동적 포인트 필터링이 도움이 되는가? 합성 실내 장면에서의 ORB-SLAM2 프론트엔드 통제 연구

Does Dynamic-Point Filtering Help When Texture Is Scarce? A Controlled Study of ORB-SLAM2 Front-Ends in Synthetic Indoor Scenes

특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.

arXiv:2610.02343v1cs.CV공통 태그 Pose Estimation, Depth Estimation

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.03473v1cs.CV공통 태그 Optical Flow Estimation, Depth Estimation

UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합

UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.

arXiv:2610.03717v1cs.CV공통 태그 Pose Estimation, Depth Estimation

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2610.01286v1cs.CV공통 태그 Pose Estimation, Depth Estimation

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.