PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30058v2cs.CV

실환경 비디오로부터의 공유 정준 객체 프레임 창발

Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Comparing object orientations and positions across different instances requires their poses to be expressed in a shared canonical frame. Establishing such frames has traditionally required manual annotation, creating a scaling bottleneck that limits category and instance diversity. We show that a shared canonical frame can instead emerge from self-supervised training on object-centric videos of rigid objects captured in the wild, using only noisy camera poses from Structure-from-Motion. Our key idea is to route all training sequences through a shared geometric bottleneck: a coarse canonical mesh that carries no category-specific detail. By learning dense correspondences from image pixels to this mesh, and estimating per-sequence alignments from noisy SfM geometry, a common canonical frame emerges from multi-view consistency and the semantic priors of the feature extractor, without any canonical pose labels or category conditioning. Trained in a self-supervised manner on ${\sim}160{,}000$ in-the-wild object videos, our method achieves competitive accuracy on category-level pose estimation benchmarks compared to methods that rely on canonical pose supervision. The code and checkpoint are available on \href{https://github.com/Fischer-Tom/Emergent-Canonical-Frame/}{github.com/Fischer-Tom/Emergent-Canonical-Frame/}.

arXiv:2603.20714v4cs.CV

3D 가우시안 스플래팅에서 초기화의 역할

The Role of Initialization in 3D Gaussian Splatting

3D 가우시안 스플래팅(3DGS)은 뛰어난 효율성과 우수한 시각적 품질 덕분에 사실적인 신규 시점 합성(NVS)을 위한 대표적인 방법으로 자리 잡았습니다. 3DGS는 장면을 위치, 공간적 범위, 시점 의존적 색상으로 매개변수화된 3D 가우시안의 집합으로 표현합니다. 초기 포인트 클라우드에서 시작하여, 3DGS는 일련의 학습 이미지를 최대한 정확하게 재구성하도록 가우시안의 매개변수를 정제합니다. 일반적으로는 희소한 Structure-from-Motion 포인트 클라우드가 초기화로 사용됩니다. 따라서 완전한 장면 표현을 얻기 위해 3DGS 방식은 밀집화(densification) 단계에 의존합니다. 본 논문에서는 여러 밀집화 전략을 활용하여 초기화가 3DGS의 NVS 성능 및 기하학적 품질에 어떤 영향을 미치는지 체계적으로 연구합니다. 우리는 강력한 밀집화와 결합될 경우 밀집 초기화가 일관된 시각적 개선으로 이어지지 않음을 보여줍니다. 그럼에도 불구하고, 이는 궤적을 벗어난 시점(off-trajectory views)에 대한 일반화에 도움이 되며 장면의 기하학적 정확도를 크게 향상시킵니다. 코드는 https://github.com/deivse/ivd_splat 에서 확인할 수 있습니다.

arXiv:2608.19693v2cs.CV

RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습

RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.

arXiv:2610.01098v1cs.CV

MVDG: 비제약적인 실제 환경 이미지에서의 효율적인 다중 뷰 3D 모호성 해소

MVDG: Efficient Multi-view 3D Disambiguation on Unconstrained Real-World Images

서로 다르지만 시각적으로 유사한 3D 표면 간의 허위 매칭(doppelganger)은 대규모 야외(in-the-wild) 3D 재구성 및 시각적 위치 추정(visual localization)에서 여전히 근본적인 장애물로 남아 있습니다. 기존 연구는 쌍별(pairwise) 분류기를 통해 이 문제를 완화하지만, 이러한 설계는 다중 뷰 문맥 추론을 제한하며 다운스트림 SfM(Structure-from-Motion)에 대해 O(n^2) 추론 복잡도를 초래합니다. 본 논문에서는 3D 파운데이션 모델 VGGT를 기반으로 구축되어 임의의 수의 다중 뷰 이미지를 공동으로 추론하는 확장 가능한 다중 뷰 모호성 해소 프레임워크인 MVDG를 제시합니다. 3D 인지 다중 뷰 특징을 통합함으로써, 제안하는 방법은 단일 패스로 뷰를 인코딩 및 디코딩하여 쌍별 비교에 대한 의존도를 줄입니다. 또한, 노이즈가 있는 지도 환경에서 VGGT의 직접적인 다중 뷰 미세조정이 불안정할 수 있음을 확인했습니다. 이에 Doppelgangers의 라벨 모호성에서 동기를 얻어 AerialMegaDepth로부터 의사 쌍별(pseudo-pairwise) 학습 데이터셋을 구축하고, 샘플링된 서브셋에 대한 미세조정이 안정적인 최적화와 미학습(held-out) 장면에 대한 강력한 일반화를 가져옴을 보입니다. 마지막으로, GLOMAP과 같은 더 빠른 파이프라인을 사용하더라도 전체 SfM 평가는 여전히 많은 비용이 들기 때문에, 효율적인 검증을 위해 의사 쌍별 데이터셋을 처리합니다. 이를 통해 일반적인 SfM 메트릭과 이 의사 쌍별 테스트에서의 분류 정확도 사이의 예측 관계를 도출합니다. 실험 결과, 본 방법은 기존 베이스라인 대비 동등한 수준의 쌍별 정확도를 달성하는 동시에 SfM 정확도와 추론 속도를 모두 향상시킴을 보여줍니다.

arXiv:2607.09507v1cs.CV

DGSfM: 깊이 안내 스케일 인식 전역 Structure-from-Motion

DGSfM: Depth-Guided Scale-Aware Global Structure-from-Motion

전역 Structure-from-Motion(SfM)은 비순서 이미지로부터 카메라 포즈와 희소 3D 구조를 복원하는 효율적인 패러다임이다. 그러나 스케일 모호성을 지닌 에피폴라 기하학에 의존하기 때문에, 전역 위치 추정이 잡음이 많은 기준선(baseline) 추정과 약한 뷰 그래프 제약에 민감하며, 시각적으로 모호한 이미지 쌍에서 발생하는 거짓 엣지가 복원을 더욱 저하시킬 수 있다. 우리는 명시적 다중 뷰 최적화를 유지하면서 단안 깊이 맵을 확장 가능한 사전 정보로 활용하는 깊이 인식 전역 SfM 파이프라인 DGSfM을 제안한다. 각 이미지 쌍에 대해 깊이 인식 상대 포즈 솔버를 사용하여 스케일 모호 에피폴라 제약을 스케일 인식 상대 포즈 제약으로 변환한다. 또한 뷰 그래프 필터링과 깊이 일관성 기반 대응점 가지치기(pruning)를 통해 에피폴라 기하학만으로는 그럴듯하게 보이는 거짓 엣지 및 매칭을 억제함으로써 견고성을 향상시킨다. 마지막으로, 전역 스케일 평균화와 깊이 안내 포즈-포인트 초기화(initialization)를 통해 단안 깊이 맵을 공통 복원 스케일로 정렬하고, 전역 위치 추정 및 번들 조정을 위한 안정적인 초기화를 제공한다. ETH3D와 IMC2021에 대한 실험에서 DGSfM은 희소 및 밀집 매칭 프론트엔드 전반에 걸쳐 강력한 전역 SfM 기준선을 일관되게 능가하며, 포즈 정확도에서 상당한 성능 향상을 달성한다. 코드는 https://github.com/sithu31296/DGSfM 에서 제공된다.

arXiv:2607.09225v1cs.CV

Glob3R: 3D 기반 모델을 활용한 전역 Structure-from-Motion

Glob3R: Global Structure-from-Motion with 3D Foundation Models

VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r

arXiv:2607.00579v1cs.CV

EPO: 엣지 기반 포즈 최적화로 3D 파운데이션 모델 성능 향상

EPO: Boosting 3D Foundation Models with Edge-based Pose Optimization

EPO는 3D 파운데이션 모델의 Structure-from-Motion 재구성 정확도를 향상시키기 위해, 특징 추출과 트랙 구성 없이 엣지 맵 정렬(edge map alignment)을 기반으로 한 완전 미분 가능한 트랙리스(trackless) 포즈 최적화 프레임워크를 제안한다. 다양한 데이터셋 평가에서 EPO는 번들 조정(Bundle Adjustment) 기반 방법과 동등하거나 더 나은 성능을 달성하면서도 런타임과 메모리를 대폭 절감하여 소비자용 하드웨어에서도 구동 가능함을 입증한다.