PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.13310v3cs.CV

InstantSfM: Towards GPU-Native SfM for the Deep Learning Era

Structure-from-Motion (SfM) is a fundamental technique for recovering camera poses and scene structure from multi-view imagery, serving as a critical upstream component for applications ranging from 3D reconstruction to modern neural scene representations such as 3D Gaussian Splatting. However, most mature SfM systems remain CPU-centric and built upon traditional optimization toolchains, creating a growing mismatch with modern GPU-based, learning-driven pipelines and limiting scalability in large-scale scenes. While recent advances in GPU-accelerated bundle adjustment (BA) have demonstrated the potential of parallel sparse optimization, extending these techniques to build a complete global SfM system remains challenging due to unresolved issues in metric scale recovery and numerical robustness. In this paper, we implement a fully GPU-based and PyTorch-compatible global SfM system, named InstantSfM, to integrate seamlessly with modern learning pipelines. InstantSfM embeds metric depth priors directly into both global positioning and BA through a depth-constrained Jacobian structure, thereby resolving scale ambiguity within the optimization framework. To ensure numerical stability, we employ explicit filtering of under-constrained variables for the Jacobian matrix in an optimized GPU-friendly manner. Extensive experiments on diverse datasets demonstrate that InstantSfM achieves state-of-the-art efficiency while maintaining reconstruction accuracy comparable to both established classical pipelines and recent learning-based methods, showing up to ${\sim40\times}$ speedup over COLMAP on large-scale scenes.

arXiv:2607.09507v1cs.CV

DGSfM: 깊이 안내 스케일 인식 전역 Structure-from-Motion

DGSfM: Depth-Guided Scale-Aware Global Structure-from-Motion

전역 Structure-from-Motion(SfM)은 비순서 이미지로부터 카메라 포즈와 희소 3D 구조를 복원하는 효율적인 패러다임이다. 그러나 스케일 모호성을 지닌 에피폴라 기하학에 의존하기 때문에, 전역 위치 추정이 잡음이 많은 기준선(baseline) 추정과 약한 뷰 그래프 제약에 민감하며, 시각적으로 모호한 이미지 쌍에서 발생하는 거짓 엣지가 복원을 더욱 저하시킬 수 있다. 우리는 명시적 다중 뷰 최적화를 유지하면서 단안 깊이 맵을 확장 가능한 사전 정보로 활용하는 깊이 인식 전역 SfM 파이프라인 DGSfM을 제안한다. 각 이미지 쌍에 대해 깊이 인식 상대 포즈 솔버를 사용하여 스케일 모호 에피폴라 제약을 스케일 인식 상대 포즈 제약으로 변환한다. 또한 뷰 그래프 필터링과 깊이 일관성 기반 대응점 가지치기(pruning)를 통해 에피폴라 기하학만으로는 그럴듯하게 보이는 거짓 엣지 및 매칭을 억제함으로써 견고성을 향상시킨다. 마지막으로, 전역 스케일 평균화와 깊이 안내 포즈-포인트 초기화(initialization)를 통해 단안 깊이 맵을 공통 복원 스케일로 정렬하고, 전역 위치 추정 및 번들 조정을 위한 안정적인 초기화를 제공한다. ETH3D와 IMC2021에 대한 실험에서 DGSfM은 희소 및 밀집 매칭 프론트엔드 전반에 걸쳐 강력한 전역 SfM 기준선을 일관되게 능가하며, 포즈 정확도에서 상당한 성능 향상을 달성한다. 코드는 https://github.com/sithu31296/DGSfM 에서 제공된다.

arXiv:2607.09225v1cs.CV

Glob3R: 3D 기반 모델을 활용한 전역 Structure-from-Motion

Glob3R: Global Structure-from-Motion with 3D Foundation Models

VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r

arXiv:2607.00579v1cs.CV

EPO: 엣지 기반 포즈 최적화로 3D 파운데이션 모델 성능 향상

EPO: Boosting 3D Foundation Models with Edge-based Pose Optimization

EPO는 3D 파운데이션 모델의 Structure-from-Motion 재구성 정확도를 향상시키기 위해, 특징 추출과 트랙 구성 없이 엣지 맵 정렬(edge map alignment)을 기반으로 한 완전 미분 가능한 트랙리스(trackless) 포즈 최적화 프레임워크를 제안한다. 다양한 데이터셋 평가에서 EPO는 번들 조정(Bundle Adjustment) 기반 방법과 동등하거나 더 나은 성능을 달성하면서도 런타임과 메모리를 대폭 절감하여 소비자용 하드웨어에서도 구동 가능함을 입증한다.

arXiv:2607.00176v1cs.CV

PRISM-VO: 광도측정 플레놉틱 번들 조정을 활용한 스케일 인식 비주얼 오도메트리

PRISM-VO: Scale-Aware Visual Odometry Using Photometric Plenoptic Bundle Adjustment

우리는 포커스드 플레놉틱 카메라를 위한 새로운 순수 최적화 기반의 희소 광도측정(photometric) 비주얼 오도메트리(visual odometry) 프레임워크인 PRISM-VO를 소개한다. PRISM-VO의 핵심은 슬라이딩 윈도우 내 점들의 카메라 포즈와 역깊이(inverse depth) 값을 공동으로 최적화하는 새로운 광도측정 플레놉틱 번들 조정(bundle adjustment)이다. 단일 플레놉틱 이미지의 기하학적 깊이와 시간적 다시점 제약을 결합함으로써, PRISM-VO는 정확하고 드리프트에 강건한 모션 추정을 달성한다. 플레놉틱 투영의 명시적 모델링을 통해, PRISM-VO는 단안 SLAM 알고리즘의 스케일 모호성을 극복하여 신뢰할 수 있는 실척 스케일(metric-scale) 재구성을 제공한다. 중요하게도, 우리의 접근 방식은 단일 플레놉틱 센서에만 의존하며 복잡한 초기화를 피하는데, 이는 깊이 사전값(depth prior)이 플레놉틱 이미징으로부터 직접 계산되기 때문이다. 실험을 통해 PRISM-VO가 실내 및 실외 장면에서 현재 최신 플레놉틱 비주얼 오도메트리 방법을 능가함을 보인다. 제안된 접근 방식은 장면의 실척 스케일을 정확하고 신뢰성 있게 복원하면서 다른 최적화 기반 및 학습 기반 방법들과 대등한 성능을 보인다. 프로젝트 페이지: https://prism-vo.github.io/