arXiv:2006.07981

Geodesic-HOF: 3D Reconstruction Without Cutting Corners

Ziyun Wang, Eric A. Mitchell, Volkan Isler, Daniel D. Lee

제출 2020-06-14

원문 초록

Single-view 3D object reconstruction is a challenging fundamental problem in computer vision, largely due to the morphological diversity of objects in the natural world. In particular, high curvature regions are not always captured effectively by methods trained using only set-based loss functions, resulting in reconstructions short-circuiting the surface or cutting corners. In particular, high curvature regions are not always captured effectively by methods trained using only set-based loss functions, resulting in reconstructions short-circuiting the surface or cutting corners. To address this issue, we propose learning an image-conditioned mapping function from a canonical sampling domain to a high dimensional space where the Euclidean distance is equal to the geodesic distance on the object. The first three dimensions of a mapped sample correspond to its 3D coordinates. The additional lifted components contain information about the underlying geodesic structure. Our results show that taking advantage of these learned lifted coordinates yields better performance for estimating surface normals and generating surfaces than using point cloud reconstructions alone. Further, we find that this learned geodesic embedding space provides useful information for applications such as unsupervised object decomposition.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2610.13808v2quant-ph공통 태그 Diversity

조합 융합을 통한 양자-고전 모델의 다양성 인지 앙상블

Diversity-Aware Ensemble of Quantum-Classical Models via Combinatorial Fusion

변분 양자 회로(VQC)는 회로 구조에 매우 민감하지만, 대부분의 양자 머신러닝 파이프라인은 단 하나의 최적 설계를 선택하고 나머지 후보는 폐기합니다. 본 논문에서는 양자 회로 탐색 공간 전반의 구조적 다양성을 활용하여 모델 융합(model fusion)을 통해 더 강력한 예측을 생성할 수 있는지 다룹니다. 순위-점수 함수(RSF)와 인지적 다양성(CD)을 활용해 여러 점수 산정 시스템을 선택하고 결합하는 모델 융합 프레임워크인 조합 융합 분석(CFA)을 구조적으로 다양한 29개의 고전 모델 및 양자 회로 풀에 적용합니다. 다양성 인지 모델 선택 방법을 사용하여 최대의 다양성을 지닌 모델 서브셋을 식별하고, 이를 점수 및 순위 결합 방식 모두로 결합합니다. 서로 다른 도메인을 포괄하는 4개의 이진 분류 벤치마크에 대한 실험 결과, CFA 기반의 하이브리드 고전-양자 융합은 고려된 모든 데이터셋에서 최고 성능의 개별 모델보다 일관되게 우수한 성능을 보였으며 정확도가 최대 6.03% 향상되었습니다. 관련 문헌과의 비교에서도 CFA 프레임워크는 4개 데이터셋 전반에서 더욱 우수한 성능을 달성합니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.