PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01098v1cs.CV

MVDG: 비제약적인 실제 환경 이미지에서의 효율적인 다중 뷰 3D 모호성 해소

MVDG: Efficient Multi-view 3D Disambiguation on Unconstrained Real-World Images

서로 다르지만 시각적으로 유사한 3D 표면 간의 허위 매칭(doppelganger)은 대규모 야외(in-the-wild) 3D 재구성 및 시각적 위치 추정(visual localization)에서 여전히 근본적인 장애물로 남아 있습니다. 기존 연구는 쌍별(pairwise) 분류기를 통해 이 문제를 완화하지만, 이러한 설계는 다중 뷰 문맥 추론을 제한하며 다운스트림 SfM(Structure-from-Motion)에 대해 O(n^2) 추론 복잡도를 초래합니다. 본 논문에서는 3D 파운데이션 모델 VGGT를 기반으로 구축되어 임의의 수의 다중 뷰 이미지를 공동으로 추론하는 확장 가능한 다중 뷰 모호성 해소 프레임워크인 MVDG를 제시합니다. 3D 인지 다중 뷰 특징을 통합함으로써, 제안하는 방법은 단일 패스로 뷰를 인코딩 및 디코딩하여 쌍별 비교에 대한 의존도를 줄입니다. 또한, 노이즈가 있는 지도 환경에서 VGGT의 직접적인 다중 뷰 미세조정이 불안정할 수 있음을 확인했습니다. 이에 Doppelgangers의 라벨 모호성에서 동기를 얻어 AerialMegaDepth로부터 의사 쌍별(pseudo-pairwise) 학습 데이터셋을 구축하고, 샘플링된 서브셋에 대한 미세조정이 안정적인 최적화와 미학습(held-out) 장면에 대한 강력한 일반화를 가져옴을 보입니다. 마지막으로, GLOMAP과 같은 더 빠른 파이프라인을 사용하더라도 전체 SfM 평가는 여전히 많은 비용이 들기 때문에, 효율적인 검증을 위해 의사 쌍별 데이터셋을 처리합니다. 이를 통해 일반적인 SfM 메트릭과 이 의사 쌍별 테스트에서의 분류 정확도 사이의 예측 관계를 도출합니다. 실험 결과, 본 방법은 기존 베이스라인 대비 동등한 수준의 쌍별 정확도를 달성하는 동시에 SfM 정확도와 추론 속도를 모두 향상시킴을 보여줍니다.