arXiv:2610.01098v1 cs.CV

MVDG: 비제약적인 실제 환경 이미지에서의 효율적인 다중 뷰 3D 모호성 해소

MVDG: Efficient Multi-view 3D Disambiguation on Unconstrained Real-World Images

Hanyuan Xiao, Gonglin Chen, Haolin Xiong, Wenbin Teng, Haiwei Chen, Yajie Zhao

제출 2026-10-01

한국어 초록

서로 다르지만 시각적으로 유사한 3D 표면 간의 허위 매칭(doppelganger)은 대규모 야외(in-the-wild) 3D 재구성 및 시각적 위치 추정(visual localization)에서 여전히 근본적인 장애물로 남아 있습니다. 기존 연구는 쌍별(pairwise) 분류기를 통해 이 문제를 완화하지만, 이러한 설계는 다중 뷰 문맥 추론을 제한하며 다운스트림 SfM(Structure-from-Motion)에 대해 O(n^2) 추론 복잡도를 초래합니다. 본 논문에서는 3D 파운데이션 모델 VGGT를 기반으로 구축되어 임의의 수의 다중 뷰 이미지를 공동으로 추론하는 확장 가능한 다중 뷰 모호성 해소 프레임워크인 MVDG를 제시합니다. 3D 인지 다중 뷰 특징을 통합함으로써, 제안하는 방법은 단일 패스로 뷰를 인코딩 및 디코딩하여 쌍별 비교에 대한 의존도를 줄입니다. 또한, 노이즈가 있는 지도 환경에서 VGGT의 직접적인 다중 뷰 미세조정이 불안정할 수 있음을 확인했습니다. 이에 Doppelgangers의 라벨 모호성에서 동기를 얻어 AerialMegaDepth로부터 의사 쌍별(pseudo-pairwise) 학습 데이터셋을 구축하고, 샘플링된 서브셋에 대한 미세조정이 안정적인 최적화와 미학습(held-out) 장면에 대한 강력한 일반화를 가져옴을 보입니다. 마지막으로, GLOMAP과 같은 더 빠른 파이프라인을 사용하더라도 전체 SfM 평가는 여전히 많은 비용이 들기 때문에, 효율적인 검증을 위해 의사 쌍별 데이터셋을 처리합니다. 이를 통해 일반적인 SfM 메트릭과 이 의사 쌍별 테스트에서의 분류 정확도 사이의 예측 관계를 도출합니다. 실험 결과, 본 방법은 기존 베이스라인 대비 동등한 수준의 쌍별 정확도를 달성하는 동시에 SfM 정확도와 추론 속도를 모두 향상시킴을 보여줍니다.

원문 초록

Illusory matches between distinct yet visually similar 3D surfaces--doppelgangers--remain a fundamental obstacle for large-scale, in-the-wild 3D reconstruction and visual localization. Prior work mitigates this issue with pairwise classifiers, but this design limits multi-view contextual reasoning and incurs O(n^2) inference complexity for downstream structure-from-motion (SfM). We present MVDG, a scalable multi-view disambiguation framework built on the 3D foundation model VGGT, which jointly reasons over an arbitrary number of multiview images. By incorporating 3D-aware multi-view features, our method reduces dependence on pairwise comparisons by encoding and decoding views in a single pass. We further observe that direct multi-view fine-tuning of VGGT can be unstable under noisy supervision; motivated by label ambiguity in Doppelgangers, we construct a pseudo-pairwise training set from AerialMegaDepth and show that fine-tuning on sampled subsets yields stable optimization and strong generalization to held-out scenes. Finally, because full SfM evaluation (even with faster pipelines such as GLOMAP) remains expensive, we process a pseudo-pairwise dataset for efficient validation; we derive a predictive relationship between regular SfM metrics and the classification accuracy on this pseudo-pairwise test. Experiments show that our method achieves comparable pairwise accuracy while improving both SfM accuracy and inference speed over baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01098v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.19693v2cs.CV공통 태그 3D Reconstruction, structure-from-motion

RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습

RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.

arXiv:2607.22147v1cs.CV공통 태그 3D Reconstruction, Visual Localization

신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화

Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.

arXiv:2607.09225v1cs.CV공통 태그 3D Reconstruction, structure-from-motion

Glob3R: 3D 기반 모델을 활용한 전역 Structure-from-Motion

Glob3R: Global Structure-from-Motion with 3D Foundation Models

VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r

arXiv:2607.09507v1cs.CV공통 태그 3D Reconstruction, structure-from-motion

DGSfM: 깊이 안내 스케일 인식 전역 Structure-from-Motion

DGSfM: Depth-Guided Scale-Aware Global Structure-from-Motion

전역 Structure-from-Motion(SfM)은 비순서 이미지로부터 카메라 포즈와 희소 3D 구조를 복원하는 효율적인 패러다임이다. 그러나 스케일 모호성을 지닌 에피폴라 기하학에 의존하기 때문에, 전역 위치 추정이 잡음이 많은 기준선(baseline) 추정과 약한 뷰 그래프 제약에 민감하며, 시각적으로 모호한 이미지 쌍에서 발생하는 거짓 엣지가 복원을 더욱 저하시킬 수 있다. 우리는 명시적 다중 뷰 최적화를 유지하면서 단안 깊이 맵을 확장 가능한 사전 정보로 활용하는 깊이 인식 전역 SfM 파이프라인 DGSfM을 제안한다. 각 이미지 쌍에 대해 깊이 인식 상대 포즈 솔버를 사용하여 스케일 모호 에피폴라 제약을 스케일 인식 상대 포즈 제약으로 변환한다. 또한 뷰 그래프 필터링과 깊이 일관성 기반 대응점 가지치기(pruning)를 통해 에피폴라 기하학만으로는 그럴듯하게 보이는 거짓 엣지 및 매칭을 억제함으로써 견고성을 향상시킨다. 마지막으로, 전역 스케일 평균화와 깊이 안내 포즈-포인트 초기화(initialization)를 통해 단안 깊이 맵을 공통 복원 스케일로 정렬하고, 전역 위치 추정 및 번들 조정을 위한 안정적인 초기화를 제공한다. ETH3D와 IMC2021에 대한 실험에서 DGSfM은 희소 및 밀집 매칭 프론트엔드 전반에 걸쳐 강력한 전역 SfM 기준선을 일관되게 능가하며, 포즈 정확도에서 상당한 성능 향상을 달성한다. 코드는 https://github.com/sithu31296/DGSfM 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.