arXiv:2611.23051v1 cs.CV

Refin3R: 순전파 방식 3D 재구성을 위한 기하 구조 기반 정제

Refin3R: Geometry-Guided Refinement for Feed-Forward 3D Reconstruction

Jongmin Lee, Jaeyeong Kim, Seungryong Kim

제출 2026-11-18

한국어 초록

순전파 방식 3D 재구성 모델은 여러 이미지에서 조밀한 점 지도를 한 번의 순전파로 예측한다. 그러나 명시적인 기하 제약이 없으면 시점 간 예측이 일치하지 않거나 세부 정밀도가 떨어지는 경우가 많다. 최근 방법은 카메라 자세나 깊이 같은 기하 사전 정보를 도입하지만 이를 보조 입력으로만 사용하거나 시점마다 독립적으로 처리하거나 사전 정보가 있는 곳에서만 기하 구조를 정제한다. 운동으로부터의 구조 복원(SfM)으로 얻은 점을 바탕으로 순전파 점 지도를 정제하는 Refin3R을 제안한다. SfM 기하 구조를 이미지 격자 전체에 전파한다. 두 분기로 이루어진 아키텍처에서 2D 분기는 기하 구조를 고려한 백본 특징으로 SfM 기하 구조를 기존 범위 밖까지 확장한다. 3D 분기는 모든 시점의 SfM 점을 함께 분석해 이미지 격자만으로 표현할 수 없는 다중 시점 구조를 포착한다. 두 분기는 양방향으로 정보를 교환하며 각 시점을 공동으로 정제해 조밀하고 정확한 점 지도를 만든다. ScanNet++, ETH3D, Tanks & Temples와 학습 도메인 밖의 사람 및 수술 장면에서 Refin3R은 점 지도 정확도가 기존 순전파 방식과 기하 구조 기반 방식보다 일관되게 높았다. 처리 속도는 성능이 가장 높은 기하 구조 기반 기준선보다 빨랐다.

원문 초록

Feed-forward 3D reconstruction models predict dense point maps from multiple images in a single pass. Without explicit geometric constraints, however, their predictions are often inconsistent across views and lack fine-grained precision. Recent methods incorporate geometric priors such as camera pose or depth, but use them merely as auxiliary inputs, process each view independently, or refine the geometry only where the priors are available. We present Refin3R, which refines feed-forward point maps with Structure-from-Motion (SfM) points, propagating SfM geometry over the image grid. In its dual-branch architecture, a 2D branch extends SfM geometry beyond its coverage using geometry-aware backbone features, while a 3D branch reasons over the SfM points of all views, capturing multi-view structure that the image grid alone cannot represent. The two branches exchange information bidirectionally to jointly refine each view, yielding dense and accurate point maps. Across ScanNet++, ETH3D, Tanks\&Temples, and out-of-domain human and surgical scenes, Refin3R consistently outperforms feed-forward and geometry-guided methods in point map accuracy while running faster than the strongest geometry-guided baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23051v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.